Modern modelling techniques are data hungry: a simulation study for predicting dichotomous endpoints
한 줄 요약
본 연구는 현대 머신러닝 기법과 고전적 통계 모델의 예측 성능이 유효 표본 크기("data hungriness")에 따라 어떻게 달라지는지 비교하였다. 시뮬레이션을 통해 다양한 임상 코호트에서 학습 곡선을 분석한 결과, SVM, NN, RF와 같은 현대 기법은 LR이나 CART와 같은 고전적 기법보다 안정적인 AUC와 낮은 optimism을 달성하는 데 약 10배 이상 많은 events per variable (EPV)가 필요함을 확인하였다. 제한된 표본 크기를 다루는 medical prediction 연구에서는 데이터의 양과 모델 복잡도 간 균형을 고려한 방법론 선택이 필수적임을 정량적으로 입증하였다.
방법
HNSCC, TBI, CHIP 세 가지 임상 코호트를 기반으로 한 시뮬레이션 연구로 설계되었다. 각 코호트는 각각 1282명(46.9% event rate), 1731명(22.3%), 3181명(7.6%)의 환자를 포함하며, 이를 20배, 10배, 6배 복제하여 인공 코호트를 생성하였다. 비교 대상 기법으로 logistic regression (LR), classification and regression trees (CART), support vector machines (SVM), neural nets (NN), random forests (RF)를 선정하였다. 각 기법으로 reference model을 생성한 후 이를 기준으로 synthetic dichotomous outcome을 만들어 예측 성능을 평가하였다. 개발 집단은 200명부터 최대 크기까지 1000명 단위로 증가시키며 50% validation set과 교차 검증하였고, 각 샘플 크기에서 100회 반복하였다. 주요 endpoint는 reference model이 생성한 binary outcome이며, 성능 지표로 development 및 validation 집단의 AUC와 optimism(mean apparent AUC - mean validated AUC)을 사용하였다. Data hungriness는 AUC가 수평선을 그리며 안정화되고 optimism이 0.01 미만으로 떨어지는 최소 EPV로 정의되었다.
주요 결과
LR은 약 20~50 EPV에서 안정적인 AUC에 도달하였으며, 그 다음으로 CART, SVM, NN, RF 순으로 안정화가 진행되었다. Optimism은 표본 크기 증가와 함께 동일한 순위로 감소하였다. RF, SVM, NN은 >200 EPV에서도 불안정성과 높은 optimism을 보였으며, LR은 reference model에 따라 55~127 EPV에서 optimism <0.01을 달성하였다. CART가 reference model일 경우 CART는 62 EPV에서 해당 기준을 충족하였으나, 다른 reference model에서는 LR이 가장 낮은 EPV 요구치를 보였다. RF는 reference model로 사용된 경우에만 850 EPV에서 안정화되었으며, 그 외 조건에서는 optimism이 ≥0.01로 유지되었다. 전체적으로 AUCmax는 reference model의 선택에 주로 의존하였으며, RF를 reference로 사용할 때 가장 높은 예측 성능(AUC 0.810 in HNSCC)을 보였다.
강점
시뮬레이션 설계가 엄격하고 "data hungriness"를 EPV와 optimism 기준으로 정량화하여 모델 선택에 명확한 기준을 제시하였다. 다양한 event rate와 예측 변수 수를 고려한 다중 코호트 분석으로 결과의 방법론적 일반화 가능성을 높였다. 제한된 표본 크기를 다루는 medical prediction 연구에서 classical vs modern modeling 간 trade-off를 정량적으로 보여줘 wiki 내 예측 모델링 가이드라인 수립에 직접 활용 가능하다.
해석
본 연구는 oncology, imaging, AI 문헌에서 자주 논의되는 "복잡한 머신러닝 모델이 항상 더 나은 성능을 내는가"라는 질문에 정량적 근거를 제공한다. radiomics나 deep learning 기반 prediction study에서 표본 크기가 제한된 경우, LR이나 CART와 같은 classical model이 더 안정적인 AUC와 낮은 optimism을 보임을 시사한다. 대규모 multi-center imaging dataset이 확보되기 전까지는 모델의 복잡도보다 데이터의 양과 quality를 우선시하는 방법론적 접근이 필요함을 oncology/imaging/AI wiki 문헌들과 일관되게 연결 지으며, 실제 연구 설계 시 sample size planning에 중요한 기준점을 제공한다.