Development and validation of a deep learning algorithm detecting 10 common abnormalities on chest radiographs
한 줄 요약
이 연구는 CXR에서 10가지 흔한 abnormality를 탐지하는 딥러닝 알고리즘 DLAD-10을 개발하고, diagnostic accuracy 및 reporting timeliness에 미치는 영향을 평가하였다. ResNet34 기반 neural network로 146,717장의 CXR을 학습한 DLAD-10은 external validation dataset에서 AUROC 0.895–1.00의 성능을 보였다. 특히 critical abnormality 분류 정확도는 DLAD-10이 95.0% (57/60)로 pooled radiologists의 84.4% (152/180)보다 유의하게 높았다 (p=0.01). Simulated reading test에서 DLAD-10 보조는 radiologists의 critical abnormality detection rate를 29.2%에서 70.8%로, urgent abnormality detection rate를 78.2%에서 82.7%로 각각 유의하게 향상시켰다 (p=0.006, p=0.04). 또한 DLAD-10은 critical 및 urgent case의 time-to-report를 각각 3371.0초에서 640.5초, 2127.1초에서 1840.3초로 단축시켰으며 (all p<0.01), 평균 interpretation time도 23.5초에서 20.5초로 감소시켰다 (p<0.001). 이 결과는 AI가 radiologists의 diagnostic performance를 보완하고 emergency setting에서의 workflow efficiency를 개선할 수 있음을 시사한다.
방법
이 연구는 retrospective design으로 진행되었으며, Seoul National University Hospital(IRB 승인)에서 2004년 3월부터 2017년 12월까지 수집된 108,053명의 환자로부터 얻은 146,717장의 CXR(143,768 PA, 2,949 AP; 90,317 normal, 56,400 abnormal)을 development dataset으로 사용하였다. 20명의 board-certified radiologists가 image-level labeling 및 pixel-level annotation을 수행하여 pneumothorax, mediastinal widening, pneumoperitoneum, nodule/mass, consolidation, pleural effusion, linear atelectasis, fibrosis, calcification, cardiomegaly 총 10가지 abnormality를 정의하였다. 알고리즘은 ResNet34 기반 deep convolutional neural network로, intermediate layer에 Attend-and-Compare Module을 삽입하여 detection performance를 향상시켰다. Training은 semi-supervised manner로 진행되었으며, AutoAugment 및 brightness/contrast adjustment, blurring, random cropping 등의 image processing 기법을 적용하였다. Loss function은 binary cross-entropy, optimiser는 stochastic gradient descent(learning rate 0.01–0.001), 최대 40 epochs를 사용하였다. Inference 시에는 이미지를 patch로 분할하여 예측 결과를 aggregate하는 방식을 취했다.
Internal validation은 development dataset과 분리된 2,523장의 CXR에서 수행되었으며, 각 abnormality별 AUROC 계산 및 90%, 95% sensitivity/specificity 기준 cut-off를 도출하였다. External validation은 두 가지 독립 dataset으로 진행되었다: 첫째, same-day CT를 reference standard로 한 SNUH dataset(190장, 2018년 수집)과 둘째, 공개 dataset인 PadChest(673장). SNUH dataset에서는 3명의 thoracic radiologists(J.H.H., J.H.L., E.J.H.; 7–10 years experience)가 DLAD-10과 비교 평가에 참여했으며, 이들은 labeling 과정에 관여하지 않았다. Cardiomegaly의 reference standard는 cardiothoracic ratio(cut-off 0.5)로 정의되었다.
Simulated reading test는 emergency department patient의 disease prevalence를 모방한 202장의 CXR(4 critical, 52 urgent, 146 nonurgent cases)에서 수행되었다. 6명의 readers(2 thoracic radiologists, 2 general radiologists, 2 residents)가 DLAD-10 보조 유무에 따라 두 번의 reading session을 4주 간격으로 진행하였다. DLAD-10 결과는 PACS(Gx; Infinitt Healthcare)에 통합되어 worklist 상에서 urgency 및 probability score를 표시하도록 설정되었다. Readers는 DLAD-10-aided session에서는 urgent case를 우선 해석하도록 지시받았으며, interpretation time 및 time-to-report(reading session 시작부터 각 image 해석까지의 시간)를 PACS 기록을 통해 측정하였다. 통계 분석은 scikit-learn, MedCalc, SPSS version 25를 사용하여 AUROC, sensitivity/specificity 비교(generalised estimated equations), McNemar test, paired t-test 등을 수행하였다.
주요 결과
DLAD-10은 internal validation dataset에서 AUROC 0.893–0.996을 보였다. External validation에서 SNUH dataset의 AUROC는 cardiomegaly 0.895부터 pneumoperitoneum 1.00까지였으며, PadChest dataset에서는 linear atelectasis 0.913부터 pneumothorax 0.997까지였다. Critical abnormality(pneumothorax, pneumoperitoneum, mediastinal widening) 분류 정확도는 DLAD-10이 95.0% (57/60)로 pooled thoracic radiologists의 84.4% (152/180)보다 유의하게 높았다 (p=0.01). SNUH dataset에서 pneumothorax detection sensitivity는 DLAD-10이 100% (23/23)로 pooled radiologists의 91.3% (63/69)보다 높았으며 (p<0.001), specificity는 DLAD-10 98.2% (164/167) vs radiologists 99.6% (499/501, p=0.10)로 유사했다.
Simulated reading test에서 DLAD-10 보조 시 pooled readers의 critical abnormality detection rate는 70.8% (17/24)로 비보조 시 29.2% (7/24)보다 유의하게 증가하였다 (p=0.006). Urgent abnormality detection rate도 DLAD-10 보조 시 82.7% (258/312)로 비보조 시 78.2% (244/312) 대비 향상되었다 (p=0.04). Reporting time 측면에서 DLAD-10 보조는 critical case의 mean±SD time-to-report를 640.5±466.3초로 단축시켰으며, 이는 비보조 시 3371.0±1352.5초에 비해 유의하게 짧았다 (p<0.01). Urgent case의 time-to-report도 1840.3±1141.1초로 비보조 시 2127.1±1468.2초보다 단축되었다 (p<0.01). 또한 평균 interpretation time은 DLAD-10 보조 시 20.5±22.8초로, 비보조 시 23.5±23.7초에 비해 유의하게 감소하였다 (p<0.001).
통계 분석
분석 설계 — 이 연구는 chest radiographs에서 10가지 common abnormalities를 탐지하는 deep learning algorithm(DLAD-10)을 개발하고, 그 진단 정확도 및 workflow efficacy를 평가하기 위해 수행되었다. 데이터 구조는 크게 세 단계로 나뉜다: 먼저 146,717장의 chest radiographs(108,053 patients)로 모델을 training했으며, internal validation은 2,523장의 독립된 dataset으로 진행했다. External validation 및 simulated reading test를 위해 두 가지 별도 dataset을 사용했는데, 하나는 same-day CT-confirmed dataset(SNUH dataset, n=190)이고 다른 하나는 open-source PadChest dataset(n=673)이다. 마지막으로 emergency department patients의 실제 disease prevalence를 모방한 202장의 chest radiographs로 simulated reading test를 실시하여, DLAD-10이 radiologists의 diagnostic accuracy와 reporting time에 미치는 영향을 평가했다. Primary endpoint는 각 abnormality별 AUROC 및 sensitivity/specificity, 그리고 critical/urgent cases에서의 detection rate와 time-to-report였다.
무엇을 위해 어떤 분석을 썼는가 — 각 abnormality의 분류 성능을 정량화하기 위해 AUROC를 계산했고, internal validation dataset에서 Youden index에 해당하는 optimal threshold뿐만 아니라 90% 및 95% sensitivity/specificity를 달성하는 cut-off 값을 도출하여 external validation과 simulated reading test에 적용했다. DLAD-10의 sensitivity와 specificity를 pooled radiologists(3명)의 결과와 비교하기 위해 generalised estimated equations(GEE)를 사용했으며, 이는 reader 간 상관관계를 고려한 분석이다. Simulated reading test에서 DLAD-10 보조 유무에 따른 readers의 urgency categorisation accuracy 차이를 보기 위해 McNemar test를 적용했고, interpretation time과 time-to-report의 평균 차이(continuous variables)를 비교하기 위해 paired t-test를 사용했다. 통계 분석에는 scikit-learn version 0.19.0, MedCalc version 15.8, SPSS version 25를 활용했다.
방법론 평가 — 잘 된 점은 external validation을 위해 temporally independent dataset(SNUH)과 geographically/institutionally distinct open-source dataset(PadChest)을 모두 사용하여 모델의 generalizability를 검증했다는 것이다. 또한 simulated reading test에서 readers가 DLAD-10 사용 전후로 동일한 이미지를 4-week interval로 재평가하도록 하여 learning effect나 recall bias를 최소화하려는 노력이 있었다. 그러나 의심스러운 점은 multiple testing 보정이 명시되지 않았다는 것이다. 10가지 abnormalities 각각에 대해 AUROC, sensitivity, specificity 등을 비교하고 McNemar test와 t-test를 수행했음에도 p-value 조정(Bonferroni 등) 여부가 원문에 없다. 또한 GEE 모델에서 어떤 correlation structure(예: exchangeable, autoregressive)를 가정했는지, 그리고 paired t-test 적용 전 데이터의 normality assumption을 검증했는지에 대한 설명이 부족하다. 결측치 처리나 outlier 제거 기준도 명시되지 않았다. Effect size와 95% CI가 일부 결과(reporting time 등)에는 제시되었으나, diagnostic accuracy 비교(GEE 결과)에서는 오직 p-value만 보고되어 effect size의 임상적 의미를 파악하기 어렵다.
설계에 참고할 점 — 유사한 AI 알고리즘 개발 연구에서는 temporal 및 external validation dataset을 포함하여 robustness를 입증하는 접근법을 채택해야 한다. 다만, 다중 검정(multiple comparisons)이 발생할 경우 appropriate correction method(예: FDR control)를 명시하고 적용해야 하며, diagnostic accuracy 비교 시 GEE 등의 모델 가정과 effect size(CI 포함)를 상세히 보고해야 신뢰도가 높아진다. 또한 simulated reading test 설계 시 reader의 experience level을 균일하게 통제하거나 stratification하여 confounding을 줄이는 것이 필요하다.
강점
이 연구는 대규모 dataset(146,717 images)을 사용하여 DLAD-10을 training하였으며, internal 및 external validation을 통해 robust한 performance를 입증했다. 특히 same-day CT를 reference standard로 사용한 SNUH dataset과 공개 dataset인 PadChest에서의 검증은 알고리즘의 generalizability를 강화한다. Simulated reading test는 emergency department setting을 모방하여 실제 clinical workflow에서의 utility를 평가했으며, DLAD-10이 radiologists의 detection rate와 reporting timeliness를 동시에 개선함을 수치적으로 입증했다. Attend-and-Compare Module의 적용과 semi-supervised learning 전략은 small lesion detection 성능을 향상시키는 데 기여한 것으로 보인다.
한계
본 연구는 retrospective design이며, simulated reading test가 실제 emergency department workflow를 완벽히 반영하지 못할 수 있다. External validation dataset 중 PadChest는 공개 dataset으로 labeling quality와 clinical context가 SNUH dataset과 다를 수 있다. 또한 cardiomegaly의 reference standard가 cardiothoracic ratio에 의존하여 CT 기반 검증이 이루어지지 않았으며, 이는 projection difference(AP vs PA)에 따른 measurement error 가능성을 내포한다. Readers의 experience level이 다양(7–10 years thoracic radiologists vs residents)하여 performance improvement의 magnitude가 reader expertise에 따라 달라질 수 있다. 마지막으로 DLAD-10은 10가지 abnormality만 대상으로 했으며, 다른 thoracic pathology(예: pulmonary embolism, rib fracture 외 trauma)는 포함되지 않았다.
해석
DLAD-10은 CXR에서 critical 및 urgent abnormality를 탐지하는 데 radiologists보다 높은 sensitivity와 accuracy를 보였으며, 특히 emergency setting에서 reporting timeliness를 크게 단축시켰다. 이는 AI가 radiologists의 work burden을 줄이고 diagnostic oversight를 방지하는 보조 도구로서 유용할 수 있음을 시사한다. 기존 연구들이 특정 abnormality(예: pneumothorax, nodule)에 국한된 반면, 본 연구는 10가지 common abnormalities를 통합적으로 다루어 clinical utility를 확장했다. 향후 prospective study 및 multi-center validation을 통해 real-world implementation의 feasibility와 long-term impact를 평가할 필요가 있다. 이 결과는 AI-based triage system이 emergency radiology workflow에서 critical case의 early detection과 rapid reporting에 기여할 수 있음을 보여준다.