Multimodal deep learning for integrating chest radiographs and clinical parameters: a case for transformers

authors

Khader et al.

journal

Radiology

year

2023

doi

10.1148/radiol.230806

category

biomedical-imaging

pdf

PDF

source

Source

요약

본 연구는 중환자실(ICU) 환경에서 임상 의사가 영상과 비영상 데이터를 병행하여 진단하는 현실을 반영하여, chest radiographs와 clinical parameters를 통합하는 multimodal deep learning 모델을 개발하고 평가하였다. transformer 기반 아키텍처가 최대 25가지 pathologic conditions 예측에서 unimodal 모델 대비 진단 성능을 향상시키는지를 검증하였다. MIMIC 데이터셋과 독립적인 내부 코호트 모두에서 multimodal 접근법이 통계적으로 유의미한 AUC 향상을 보였으며, 이는 중증 환자 진단 지원에 필요한 다중 정보 통합의 실용성을 입증한다.

방법

Retrospective study로, 공개된 MIMIC-IV/MIMIC-CXR-JPG 데이터셋과 아헨 대학병원 ICU 내부 데이터셋을 사용하였다. MIMIC 코호트는 36,542명(평균 연령 63 ± 17세), 내부 코호트는 45,016명(평균 연령 66 ± 16세)으로 구성되었으며, 각각 training, validation, test set으로 분할되었다. 영상 입력으로는 chest radiographs를 활용했으며, 비영상(nonimaging) 입력으로는 MIMIC에서 혈압, 호흡수, GCS 점수, SpO2 등 약 15가지 clinical parameters를, 내부 데이터셋에서 CRP, leukocyte count, PCT, BNP 등 방사선 촬영 전 20일 이내의 laboratory data를 사용하였다. 예측 목표는 ICD-9/ICD-10 코드를 Clinical Classifications Software 기준으로 그룹핑한 최대 25가지 superordinate disease categories였으며, transformer-based neural network architecture를 학습시켰다. 진단 성능 평가는 area under the receiver operating characteristic curve (AUC) 분석을 통해 imaging-only, nonimaging-only 모델과 비교하였다.

주요 결과

MIMIC 데이터셋에서 multimodal 모델의 mean AUC는 0.77 (95% CI: 0.77, 0.78)로, chest radiographs만 사용했을 때 0.70 (95% CI: 0.69, 0.71; P < .001), clinical parameters만 사용했을 때 0.72 (95% CI: 0.72, 0.73; P < .001)보다 통계적으로 유의하게 높았다. 내부 데이터셋에서도 모든 pathologic conditions에 대해 multimodal 모델의 diagnostic performance이 일관되게 향상됨이 확인되었다. Attention mechanism를 통한 해석 가능성 분석에서 모델이 임상적 맥락과 영상 소견을 통합하여 예측하는 과정이 radiologic image perception과 잘 부합함을 보였다.

강점

공개 데이터셋(MIMIC)과 독립적인 내부 코호트를 모두 사용하여 결과의 일반화 가능성을 검증하였으며, ICU 환경에서 Routine하게 수집되는 chest radiographs와 laboratory data를 실시간으로 통합할 수 있는 transformer 기반 아키텍처를 제시하였다. Attention scores를 활용한 explainability는 모델의 의사결정 과정을 임상적으로 추적 가능하게 하여, black-box AI에 대한 신뢰도 제고에 기여한다. 본 연구는 다중 모달리티 통합이 단일 영상 분석을 넘어 중증 환자 진단 정확도를 높이는 핵심 전략임을 입증하여, 향후 clinical decision support system 개발의 기준 모델을 제공한다.

해석

이 논문은 biomedical-imaging 및 AI 문헌에서 오랫동안 강조되어 온 single-modality limitation을 transformer architecture를 통해 해결한 사례로, LLM Wiki의 imaging biomarker 및 multimodal fusion 논의와 직접적으로 연결된다. 특히 ICU setting에서의 chest radiographs와 clinical parameters 통합 접근법은 pulmonary/opacities 관련 진단 알고리즘 개발 시 영상 특징(image feature)과 생체 지표(biomarker)의 상호 보완적 역할을 정량화한 근거로 활용될 수 있다. 향후 oncology나 pulmonology 분야에서도 tumor imaging과 systemic inflammation markers를 함께 고려하는 multimodal deep learning 모델 설계에 methodological template을 제공한다.