디지털 헬스 메트릭스

주제 5 / 31· Also in this book

RE-AIM 프레임워크

RE-AIM은 단일 지표가 아니라 다섯 가지 별개의 차원—Reach(도달), Effectiveness(효과성), Adoption(채택), Implementation(구현), Maintenance(유지)—에 걸쳐 디지털 헬스 개입을 평가하는 공중보건 평가 프레임워크다. 이는 디지털 헬스 평가에서 특정하고 흔한 실패 모드를 수정하기 위해 존재한다: 작고 동기 부여된 파일럿 모집단에서 인상적인 효과성 데이터를 보고하면서도 대규모로 채택되지 않거나 자금 지원되는 파일럿 기간을 넘어 유지되지 않는 프로그램은 헤드라인 결과 수치가 고립되어 아무리 좋아 보여도 실제로 공중보건 가치를 입증한 것이 아니다.

왜 중요한가

디지털 헬스 파일럿은 흔히 효과성만으로 평가되며—그것을 사용한 사람들에게 결과 측정값이 개선되었는지—다른 네 차원은 측정되지 않거나 보고되지 않은 채로 남겨진다. 이는 이상적이고 소규모 조건에서는 잘 작동하지만 대규모로 작동하는지, 가장 필요로 하는 모집단에 도달하는지, 또는 초기 자금 지원과 열정을 넘어 생존하는지에 대해서는 아무것도 말하지 않는 개입 쪽으로 증거 기반을 체계적으로 편향시킨다. RE-AIM은 평가자가 내부 타당성(여기서 작동했는가)과 함께 외부 타당성(다른 곳에서도 작동할 것인가, 누구를 위해)을 보고하도록 강제하기 위해 특별히 개발되었으며, 이는 단일 연구나 파일럿 결과에 기반하여 디지털 헬스 개입을 자금 지원하거나, 발주하거나, 규모를 확대할지 결정하는 모든 사람에게 엄청나게 중요하다. 다섯 차원 각각이 개인 수준과 조직 또는 환경 수준 모두에서 측정될 수 있으므로, RE-AIM은 또한 상쇄를 드러낸다—예를 들어 고도로 선별되고 고도로 훈련된 직원이 제공하는 매우 효과적인 개입(강한 효과성, 약한 채택 대표성)—이는 단일 결합 지표로는 완전히 가려질 것이다.

적용 방법

Reach(도달)       = 참여하는 자격을 갖춘 대상 모집단의 비율,
                    그리고 참여자가 그 자격을 갖춘 모집단을
                    얼마나 대표하는지(단순히 원시 참여자 수가
                    아님)

Effectiveness      = 삶의 질과 의도하지 않은 부정적 결과를
(효과성)             포함한 주요 결과에 대한 영향, 단일 헤드라인
                    결과 측정값만이 아님

Adoption(채택)     = 개입을 채택하는 환경 및 직원/제공 주체의
                    비율 및 대표성, 모든 자격을 갖춘 환경 및
                    직원 대비

Implementation     = 의도한 대로의 전달의 일관성 및 충실도,
(구현)               이를 전달하는 데 필요한 시간 및 비용, 그리고
                    도중에 이루어진 조정

Maintenance        = 개입이 개인 수준(지속되는 개인 수준 효과)과
(유지)               환경/조직 수준(제도화) 모두에서 장기적으로
                    일상적인 관행의 일부가 되는 정도

계산 예시

한 디지털 당뇨병 예방 프로그램이 총 200개의 자격을 갖춘 클리닉이 있는 지역에서 20개의 1차 진료 클리닉에서 시범 운영된다. Reach는 20개 파일럿 클리닉에 걸쳐 추정 15,000명의 자격을 갖춘 환자 중 1,200명(8%)으로 평가되며, 참여자는 전체 자격을 갖춘 모집단보다 다소 더 젊고 디지털 문해력이 더 높은 것으로 밝혀진다—이는 무시하기보다는 주목할 가치가 있는 대표성 격차다. Effectiveness는 완료자 사이에서 평균 HbA1c의 임상적으로 의미 있는 감소를 보이지만, 높은 탈락률은 완료자만이 아니라 등록된 모든 환자에 걸쳐 치료 의도 기준으로 평가될 때 이 효과가 희석된다는 것을 의미한다. Adoption은 자격을 갖춘 200개 클리닉 중 20개(10%)로, 평균 이상의 기존 디지털 인프라를 가진 클리닉에 집중되어 있다—다시 한번, 대표성 우려다. Implementation의 충실도 평가는 대부분의 클리닉이 프로그램을 대체로 설계된 대로 제공했지만, 두 클리닉은 시간 압박으로 온보딩 과정을 상당히 단축했음을 발견한다. 파일럿 자금 지원이 종료된 지 1년 후의 Maintenance 평가는 원래 20개 클리닉 중 6개만이 여전히 프로그램을 적극적으로 운영하고 있음을 발견한다—이 결과는 초기에 유망했던 효과성 수치와 함께 보고될 때, 효과성 데이터만으로 제공했을 것보다 프로그램의 실제 전망에 대해 훨씬 더 완전하고 정직한 그림을 제공한다.

데이터 출처 및 주의사항

각 RE-AIM 차원은 일반적으로 다른 데이터 출처에 의존한다: Reach와 Adoption은 등록 및 자격 기록에서, Effectiveness는 임상 또는 결과 데이터에서(흔히 이 책의 다른 곳에서 특정 지표, 예를 들어 생체지표 개선율을 계산하는 데 이미 사용되는 동일한 데이터), Implementation은 충실도 체크리스트, 전달 로그, 또는 직접 관찰에서, Maintenance는 초기 평가 기간 이후 상당 기간이 지나 수행되는 추적 평가에서 나온다—이는 완전한 RE-AIM 평가가 단일 시점에 완료될 수 없으며 평가가 사후에 추가되는 것이 아니라 처음부터 계획되어야 함을 의미한다. 다섯 차원 모두를 정직하게(일부에서의 약한 결과를 포함하여) 보고하는 것이 효과성만 보고하는 것보다 더 많은 작업이고 덜 돋보이므로, 발표된 디지털 헬스 평가는 Effectiveness에 비해 Reach, Adoption, Maintenance를 불균형적으로 과소 보고한다—이는 결정을 알리기 위해 RE-AIM으로 표시된 증거를 사용하는 모든 사람이 경계해야 할 알려진 출판 편향 패턴이다.

함정

  • 효과성만 보고하고 이를 RE-AIM 평가라고 부르는 것: RE-AIM이라는 이름을 사용하면서 다섯 차원 중 하나만 보고하는 것은 프레임워크의 목적을 훼손하며 RE-AIM 평가로 묘사되어서는 안 된다.
  • Reach와 Adoption을 자격을 갖춘 모집단의 비율이 아니라 원시 수치로 측정: 큰 원시 참여자 수는 여전히 개입이 이상적으로 도달해야 할 사람들의 작고 비대표적인 부분을 나타낼 수 있다. 항상 완전한 자격을 갖춘 분모에 대해 계산해야 한다.
  • Maintenance를 너무 일찍 평가: 제도화와 지속적인 효과는 초기 자금 지원이나 참신함 효과가 사라진 후 상당 기간이 지나서야 잘 판단될 수 있다. 파일럿이 종료된 직후에 수행된 평가는 다른 네 차원이 어떻게 보이든 Maintenance에 대해 말할 수 없다.
  • 다섯 차원을 동등하게 가중되거나 하나의 점수로 결합 가능한 것으로 취급: RE-AIM은 의도적으로 다차원 프로필이며 단일 수치가 아니다. 차원을 하나의 복합 점수로 결합하는 것은 프레임워크가 보존하도록 설계된 바로 그 상쇄 가시성을 버리는 것이다.

출처

  • Glasgow, Vogt, Boles, "Evaluating the public health impact of health promotion interventions: the RE-AIM framework", American Journal of Public Health, 원래 발표된 프레임워크
  • RE-AIM.org, 측정값, 계획 도구, 발표된 응용에 관한 프레임워크의 유지되는 공개 자료
  • 디지털 헬스 개입에 특화하여 RE-AIM을 적용한 동료 심사 문헌, 예를 들어 Journal of Medical Internet Research(JMIR) 및 Translational Behavioral Medicine에 게재된 연구

참고: 디지털 접근률 및 사용자 유지율, 각각 RE-AIM의 Reach 및 Maintenance 차원에 밀접하게 대응하는 이 책의 두 지표.