Health system-scale language models are all-purpose prediction engines
한 줄 요약
본 논문은 대규모 전자 건강 기록(EHR)의 비정형 임상 노트를 활용한 임상 언어 모델 NYUTron이 다양한 임상 및 운영 예측 작업을 수행할 수 있는 범용 예측 엔진임을 입증한다. 기존 구조화 데이터 기반 예측 모델의 복잡한 개발 및 배포 장벽을 넘어, 의사가 작성한 노트를 실시간으로 학습하여 point of care에서 의사결정을 지원할 수 있는 가능성을 제시한다. 5가지 주요 예측 작업에 대한 후향적 평가와 전향적 single-arm non-interventional trial을 통해 모델의 성능과 실제 임상 워크플로우 통합 가능성을 검증하였다.
방법
Study design은 NYU Langone Health System 내 4개 도시 병원 및 350개 외래 센터의 환자 데이터를 활용한 후향적 모델 개발 및 전향적 single-arm non-interventional trial로 구성되었다. Cohort는 2011년 1월부터 2020년 5월까지 수집된 725만 건의 비라벨링 임상 노트(387,144명)를 pretraining dataset으로 사용하였으며, 각 fine-tuning 작업당 55,791명에서 413,845명의 입원 환자 노트를 활용하였다. Intervention은 BERT 기반 bidirectional encoder LLM(NYUTron, 109M parameters)을 masked language modeling (MLM) objective로 pretraining 한 후, downstream tasks에 fine-tuning 하는 과정이다. Comparator는 SAPS2, APACHE2 등 structured features를 extreme gradient-boosted tree 모델에 입력하는 전통적 구조화 baseline과 비교되었다. Endpoint는 30-day all-cause readmission prediction, in-hospital mortality prediction, comorbidity index (CCI) imputation, length of stay (LOS) prediction, insurance denial prediction이며, model performance 평가에는 area under the curve (AUC)가 사용되었다.
주요 결과
NYUTron은 5가지 작업에서 AUC 78.7–94.9%의 성능을 보였으며, 전통적 구조화 baseline 대비 AUC가 5.36–14.7% 향상되었다. 구체적으로 in-hospital mortality prediction에서 median AUC는 94.9% ± 0.168%로 SAPS2/APACHE2 기반 모델 대비 7.43% 개선했다. Comorbidity index imputation 작업에서는 median AUC 89.4% ± 0.275%를 기록했으며, CCI score가 0인 환자 식별 시 precision은 88%였다. LOS prediction에서는 one-versus-rest (OVR) AUC 78.7% ± 0.179%로 Lisbon Portugal features 기반 baseline 대비 12.3% 향상되었다. Insurance denial prediction 및 readmission prediction도 동일한 프레임워크 내에서 평가되었으며, 전향적 single-arm trial을 통해 real-world 환경에서의 deployment와 clinical impact가 검증되었다.
강점
본 연구는 복잡한 structured data processing 없이 EHR 내 비정형 텍스트만으로도 높은 예측 성능을 달성할 수 있음을 입증하여 임상 AI의 'last-mile problem' 해결에 기여한다. 단일 모델 아키텍처로 다양한 임상 및 운영 endpoint를 동시에 처리할 수 있는 all-purpose engine로서의 실용성이 뛰어나다. 또한 NYUTriton inference engine을 통한 real-time EHR 연동은 point of care에서의 즉각적인 의사결정 지원 가능성을 보여준다. wiki 내에서 임상 예측 모델의 데이터 소스 다양화 및 배포 전략에 대한 근거로 유용하게 활용될 수 있다.
해석
이 논문은 구조화 데이터 의존도를 낮추고 비정형 임상 노트(병력, 방사선 판독, 병리 보고서 등)를 직접 활용하는 LLM 기반 예측 프레임워크를 제시한다. 이는 oncology, imaging, pulmonology 분야에서 radiology reports나 clinical notes의 latent 정보를 predictive modeling에 통합하려는 기존 연구 흐름과 맥을 같이한다. 특히 fine-tuning을 통한 site 간 generalizability와 prospective deployment 검증은 AI 모델이 단순 실험실 성능을 넘어 실제 임상 워크플로우로 확장되는 과정을 보여주는 사례로서, wiki의 AI 및 clinical prediction 문헌들과 방법론적·임상적 연결고리를 제공한다.