Improving the Reporting Quality of Nonrandomized Evaluations of Behavioral and Public Health Interventions The TREND Statement

authors

Des Jarlais et al.

journal

American Journal of Public Health

year

2004

category

other

pdf

PDF (Tailscale 전용)

source

Source

업데이트

2026-10-11

요약

Des Jarlais et al.는 비무작위(nonrandomized) 설계를 사용한 행동 및 공중보건 개입 연구의 보고 품질을 개선하기 위한 TREND (Transparent Reporting of Evaluations with Nonrandomized Designs) statement를 제안한다. 기존 RCT 중심의 증거 기반 의학에서, 윤리적·실용적 이유로 RCT가 불가능한 많은 공중보건 개입에 대해 체계적인 문헌 고찰과 메타분석이 가능하도록 하기 위해 표준화된 보고 지침이 필요하다는 문제의식에서 출발했다. 이 논문은 CDC의 HIV/AIDS Prevention Research Synthesis (PRS) 팀과 18개 저널 편집자들이 참여한 회의를 바탕으로, CONSORT statement와 호환되지만 비무작위 연구의 특수성(예: 할당 방법, 편향 통제, 이론적 배경)을 반영한 22항목 체크리스트를 제시한다. 핵심 발견은 단일 연구 결과라기보다, 비무작위 연구의 투명성을 확보하여 연구 합성(research synthesis)의 질을 높이고 증거 기반 공중보건 실천(evidence-based public health practice)을 강화할 수 있는 방법론적 프레임워크의 확립이다. 이는 향후 비무작위 설계 연구의 데이터 추출과 비교 가능성을 획기적으로 개선할 것으로 기대된다.

방법

이 연구는 새로운 보고 지침 개발을 위한 합의 과정(consensus process)으로 진행되었다. CDC의 HIV/AIDS Prevention Research Synthesis (PRS) 팀은 기존 HIV 행동 개입 연구들의 문헌 고찰 중, 개입 시기, 용량, 효과 크기(effect size) 등 메타분석에 필수적인 정보가 누락된 경우가 많음을 확인했다. 이를 해결하기 위해 2003년 7월 24-25일 아틀랜타에서 CDC Journal Editors Meeting을 개최했으며, HIV 행동 개입 연구를 출판하는 18개 저널의 편집자 및 대표자들이 참석했다. 회의의 주요 목표는 보고 표준의 유용성 홍보, 행동 개입 연구에 대한 보고 표준에 대한 합의 도출, 저자와 심사자를 위한 체크리스트 개발, 그리고 해당 표준의 보급 전략 수립이었다. 논의 과정에서 HIV 행동 개입을 넘어 일반적인 행동 및 공중보건 개입 연구로 범위가 확대되었으며, 비무작위 설계(특히 비교군이 있는 경우)의 투명하고 표준화된 보고에 대한 강한 합의가 이루어졌다.

개발된 TREND 체크리스트는 총 22개 항목으로 구성되며, CONSORT statement와 일관성을 유지하도록 설계되었다. 특히 비무작위 연구에서 중요한 요소인 이론적 기반(use of theory), 개입 및 비교 조건의 상세한 설명(description of intervention and comparison conditions), 연구 설계의 명확화(description of research design), 그리고 비무작위 할당으로 인한 잠재적 편향을 통제하기 위한 방법(methods to minimize bias due to nonrandomization)을 강조한다. 체크리스트는 제목/초록, 서론, 방법(참여자, 개입, 목표, 결과, 표본 크기, 할당, 맹검, 분석 단위, 통계 방법), 결과(참여자 흐름, 모집, 기선 데이터, 기선 동등성, 분석 인원 수, 결과 및 추정치, 보조 분석, 부작용), 논의(해석, 일반화 가능성, 전체 증거)로 구분되어 있으며, 각 항목마다 HIV 행동 예방 연구에서의 구체적인 예시가 제공된다. 예를 들어, 할당 방법(item 8)에서는 교차 할당(alternating sequence)이나 요일별 할당 등 비무작위 할당의 구체적 절차를 명시하도록 요구하며, 분석 단위(item 10)에서는 할당 단위와 분석 단위가 다를 경우 다층 분석(multilevel analysis)이나 설계 효과(design effect)를 통한 표준 오차 보정을 기술하도록 한다.

주요 결과

본 논문에서 제시된 핵심 산출물은 TREND 체크리스트(Table 1)이다. 이 체크리스트는 비무작위 평가 연구의 보고 품질을 높이기 위한 22개 항목으로 구성된다. 주요 항목들은 다음과 같다: (1) 제목과 초록에는 할당 방법 정보가 포함되어야 하며, 구조화된 초록이 권장된다. (2) 서론에서는 개입 설계에 사용된 이론(theories used)을 명시해야 한다. (3) 방법 섹션에서는 참여자의 자격 기준(eligibility criteria), 모집 방법(method of recruitment), 개입의 내용(content), 전달 방식(delivery method), 단위(unit of delivery), 제공자(deliverer), 설정(setting), 노출량 및 지속시간(exposure quantity and duration), 순응도 향상 활동(activities to increase compliance) 등을 상세히 기술해야 한다. (4) 할당(item 8)에서는 할당 단위(unit of assignment), 할당 방법(method used to assign units), 그리고 비무작위화로 인한 편향을 최소화하기 위한 조치(inclusion of aspects employed to help minimize potential bias induced due to nonrandomization, e.g., matching)를 명시해야 한다. (5) 분석 단위(item 10)에서는 분석의 최소 단위(description of the smallest unit that is being analyzed)를 기술하며, 할당 단위와 다를 경우 이를 보정하는 통계적 방법을 설명해야 한다.

결과 섹션에서는 참여자의 흐름(participant flow), 모집 및 추적 기간(recruitment dates), 기선 인구통계학적 및 임상적 특성(baseline demographic and clinical characteristics), 기선 동등성(data on study group equivalence at baseline), 각 분석에 포함된 인원 수(numbers of participants included in each analysis), 주요 및 보조 결과의 요약(summary of results for each primary and secondary outcome)와 효과 크기 추정치(estimated effect size) 및 신뢰구간(confidence interval), 부정적 결과(null and negative findings) 포함, 부작용(adverse events) 등을 보고해야 한다. 논의 섹션에서는 연구 가설, 편향 원천, 측정의 불확실성 등을 고려한 결과 해석(interpretation of the results), 개입의 작동 메커니즘(causal pathways)에 대한 논의, 구현 성공 및 장벽(success of and barriers to implementing the intervention), 일반화 가능성(generalizability/external validity), 그리고 현재 증거 및 이론 맥락에서의 전체적 해석(overall evidence)을 포함해야 한다. 저자들은 이 체크리스트가 출판 심사의 기준이 아니라, 동료 검토된 출판물의 데이터 보고 품질을 개선하여 연구 합성을 용이하게 하기 위한 도구임을 강조한다.

강점

본 논문은 비무작위 설계 연구의 보고 표준이 부재했던 공백을 메우는 선구적인 작업이다. CDC의 실제 문헌 고찰 경험에서 비롯된 실용적 필요성(실제 데이터 누락 문제)을 해결하기 위해 개발되었으므로, 이론적이지 않고 적용 가능한 구체적인 체크리스트를 제공한다. 18개 저널의 편집자들이 참여한 합의 과정을 통해 현장의 수용성을 고려했으며, 기존에 널리 쓰이는 CONSORT statement와의 호환성을 유지하여 연구자와 심사자가 익숙한 프레임워크를 확장할 수 있도록 했다. 특히 비무작위 연구에서 가장 취약한 부분인 할당 방법의 투명성, 기선 동등성의 검증, 그리고 분석 단위와 할당 단위의 불일치에 대한 통계적 보정 방법을 명시적으로 요구함으로써, 연구 결과의 신뢰도와 재현성을 높이는 데 기여한다.

한계

저자들은 TREND 체크리스트가 아직 초기 버전(Version 1.0)이며, 지속적인 수정과 보완이 필요함을 인정한다. 개발 과정이 주로 CDC 과학자와 소수의 저널 편집자들에 의해 이루어졌으며, 더 광범위한 연구자, 방법론자, 통계학자들의 피드백이 추가로 필요하다는 점을 지적한다. 또한, 특정 분야(예: HIV 예방)에 최적화된 예시를 포함하고 있어, 다른 공중보건 분야나 비행동적 개입 연구에 적용할 때 추가적인 적응(adaptation)이 필요할 수 있다. 저널의 페이지 제한으로 인해 상세한 정보를 모두 본문에 담기 어려울 수 있다는 현실적 제약도 언급하며, 웹 사이트나 중앙 저장소 등 대체 보고 방식을 제안하고 있으나, 이러한 인프라 구축과 활용은 별도의 과제이다.

해석

TREND statement는 비무작위 설계 연구가 증거 기반 공중보건(evidence-based public health)에서 배제되지 않고 적절히 통합될 수 있도록 하는 방법론적 토대를 마련한다. 이는 RCT가 윤리적·실용적으로 불가능한 많은 공중보건 개입(예: 지역사회 기반 프로그램, 정책 변화 평가)의 효과를 체계적으로 평가하고 메타분석에 포함시키는 데 필수적이다. LLM Wiki의 문헌 관리 관점에서, 이 체크리스트는 비무작위 연구의 데이터 추출 시 어떤 변수와 정보를 반드시 확인해야 하는지에 대한 가이드라인으로 활용될 수 있다. 특히 할당 방법, 기선 동등성, 분석 단위의 보정 여부 등을 체크함으로써, 연구의 편향 위험을 평가하고 결과의 신뢰도를 판단하는 데 도움을 준다. 향후 비무작위 설계 연구가 증가함에 따라, TREND 표준의 채택은 연구 합성의 질을 높이고, 더 포괄적이고 정확한 공중보건 권고안을 수립하는 데 기여할 것이다.