Framework RE-AIM — Metryki Zdrowia Cyfrowego

RE-AIM to ramowy model ewaluacji zdrowia publicznego, który ocenia interwencję zdrowia cyfrowego w pięciu odrębnych wymiarach — zasięgu (Reach), skuteczności (Effectiveness), adopcji (Adoption), wdrożenia (Implementation) i utrzymania (Maintenance) — a nie za pomocą jednej metryki. Istnieje, aby skorygować konkretny, częsty błąd w ewaluacji zdrowia cyfrowego: program, który raportuje imponujące dane o skuteczności z małej, zmotywowanej populacji pilotażowej, nigdy nie zostając przyjęty na dużą skalę lub nie utrzymując się po zakończeniu finansowanego okresu pilotażu, w rzeczywistości nie wykazał wartości dla zdrowia publicznego, bez względu na to, jak dobrze wyglądają jego główne liczby wyników rozpatrywane w oderwaniu.

Dlaczego to ważne

Pilotaże zdrowia cyfrowego są często oceniane wyłącznie pod kątem skuteczności — czy miara wyniku poprawiła się u osób, które z niej korzystały — podczas gdy pozostałe cztery wymiary pozostają niezmierzone lub nieraportowane, co systematycznie wypacza bazę dowodową w stronę interwencji, które dobrze działają w idealnych warunkach małej skali, ale nic nie mówią o tym, czy działają na dużą skalę, docierają do populacji, która ich najbardziej potrzebuje, albo przetrwają poza początkowe finansowanie i entuzjazm. RE-AIM opracowano właśnie po to, aby zmusić ewaluatorów do raportowania trafności zewnętrznej (czy to zadziała gdzie indziej i dla kogo) obok trafności wewnętrznej (czy to zadziałało tutaj), co ma ogromne znaczenie dla każdego, kto decyduje, czy finansować, zamawiać lub skalować interwencję zdrowia cyfrowego na podstawie wyników jednego badania lub pilotażu. Ponieważ każdy z pięciu wymiarów można mierzyć zarówno na poziomie indywidualnym, jak i organizacyjnym lub placówki, RE-AIM ujawnia również kompromisy — na przykład wysoce skuteczną interwencję realizowaną przez silnie wyselekcjonowany, doskonale wyszkolony personel (silna skuteczność, słaba reprezentatywność adopcji) — które pojedyncza metryka łączna całkowicie by ukryła.

Jak się go stosuje

Zasięg (Reach)           = odsetek kwalifikującej się populacji docelowej,
                            która uczestniczy, oraz to, na ile uczestnicy
                            są reprezentatywni dla tej kwalifikującej się
                            populacji (a nie tylko surowa liczba
                            uczestników)

Skuteczność              = wpływ na główne wyniki, w tym jakość życia
(Effectiveness)             i niezamierzone negatywne konsekwencje, a nie
                            tylko pojedyncza główna miara wyniku

Adopcja (Adoption)       = odsetek i reprezentatywność placówek oraz
                            personelu/podmiotów realizujących, które
                            przyjmują interwencję, w stosunku do wszystkich
                            kwalifikujących się placówek i personelu

Wdrożenie                = spójność i wierność realizacji zgodnej
(Implementation)            z założeniami, czas i koszt potrzebne do jej
                            realizacji oraz adaptacje wprowadzone po drodze

Utrzymanie               = stopień, w jakim interwencja staje się częścią
(Maintenance)               rutynowej praktyki w długim okresie, zarówno
                            na poziomie indywidualnym (trwałe efekty
                            indywidualne), jak i placówki/organizacji
                            (instytucjonalizacja)

Praktyczny przykład

Cyfrowy program profilaktyki cukrzycy jest pilotowany w 20 poradniach podstawowej opieki zdrowotnej w regionie, w którym łącznie jest 200 kwalifikujących się poradni. Zasięg oceniono na 1200 spośród szacunkowo 15 000 kwalifikujących się pacjentów w 20 poradniach pilotażowych (8%), przy czym uczestnicy okazali się nieco młodsi i bardziej kompetentni cyfrowo niż cała kwalifikująca się populacja — luka reprezentatywności, którą warto odnotować, a nie ignorować. Skuteczność pokazuje klinicznie istotną redukcję średniego HbA1c wśród osób, które ukończyły program, ale wysoki wskaźnik rezygnacji oznacza, że efekt ten ulega rozcieńczeniu przy ocenie w podejściu intention-to-treat dla wszystkich zapisanych pacjentów, a nie tylko tych, którzy ukończyli. Adopcja wynosi 20 z 200 kwalifikujących się poradni (10%), skoncentrowanych w poradniach z ponadprzeciętną istniejącą infrastrukturą cyfrową — ponownie problem reprezentatywności. Ocena wierności wdrożenia wykazuje, że większość poradni realizowała program w dużej mierze zgodnie z założeniami, choć dwie poradnie istotnie skróciły proces wdrożenia pacjenta pod presją czasu. Ocena utrzymania rok po zakończeniu finansowania pilotażu wykazuje, że tylko 6 z pierwotnych 20 poradni nadal aktywnie prowadzi program — wynik, który raportowany obok początkowo obiecującej wartości skuteczności daje znacznie pełniejszy i uczciwszy obraz rzeczywistych perspektyw programu, niż dałyby same dane o skuteczności.

Źródła danych i zastrzeżenia

Każdy wymiar RE-AIM zazwyczaj czerpie z innego źródła danych: zasięg i adopcja z rejestrów włączeń i kwalifikowalności, skuteczność z danych klinicznych lub o wynikach (często tych samych, które są już używane do obliczania konkretnej metryki w innym miejscu tej książki, takiej jak wskaźnik poprawy parametrów biometrycznych), wdrożenie z list kontrolnych wierności, dzienników realizacji lub bezpośredniej obserwacji, a utrzymanie z oceny kontrolnej przeprowadzonej długo po początkowym okresie ewaluacji — co oznacza, że pełnej oceny RE-AIM nie da się ukończyć w jednym punkcie czasu i wymaga ona zaplanowania ewaluacji od samego początku, a nie dodawania jej z mocą wsteczną. Ponieważ uczciwe raportowanie wszystkich pięciu wymiarów (w tym słabych wyników w niektórych) jest bardziej pracochłonne i mniej pochlebne niż raportowanie samej skuteczności, publikowane ewaluacje zdrowia cyfrowego nieproporcjonalnie często niedoraportowują zasięg, adopcję i utrzymanie w porównaniu ze skutecznością — znany wzorzec błędu publikacji, na który powinien uważać każdy, kto wykorzystuje dowody oznaczone jako RE-AIM do podejmowania decyzji.

Pułapki

Raportowanie samej skuteczności i nazywanie tego ewaluacją RE-AIM: używanie nazwy RE-AIM przy raportowaniu tylko jednego z jej pięciu wymiarów podważa cel ram i nie powinno być opisywane jako ocena RE-AIM.
Mierzenie zasięgu i adopcji jako surowych liczb, a nie odsetków kwalifikującej się populacji: duża surowa liczba uczestników może nadal stanowić niewielki, niereprezentatywny ułamek tych, do których interwencja powinna idealnie docierać; zawsze obliczaj względem pełnego kwalifikującego się mianownika.
Zbyt wczesna ocena utrzymania: instytucjonalizację i trwały efekt można ocenić dopiero długo po wygaśnięciu początkowego finansowania lub efektów nowości; ocena wykonana tuż po zakończeniu pilotażu nie może wypowiadać się o utrzymaniu, bez względu na to, jak wyglądają pozostałe cztery wymiary.
Traktowanie pięciu wymiarów jako równoważnych lub możliwych do połączenia w jeden wynik: RE-AIM jest celowo profilem wielowymiarowym, a nie pojedynczą liczbą; połączenie wymiarów w jeden wynik złożony odrzuca dokładnie tę widoczność kompromisów, którą ramy mają zachować.

Źródła

Glasgow, Vogt i Boles, "Evaluating the public health impact of health promotion interventions: the RE-AIM framework", American Journal of Public Health, oryginalnie opublikowane ramy
RE-AIM.org, utrzymywany publiczny zasób ram z miarami, narzędziami planowania i opublikowanymi zastosowaniami
Literatura recenzowana stosująca RE-AIM konkretnie do interwencji zdrowia cyfrowego, na przykład badania opublikowane w Journal of Medical Internet Research (JMIR) i Translational Behavioral Medicine

Zobacz także: wskaźnik dostępu cyfrowego oraz wskaźnik utrzymania użytkowników, dwie metryki tej książki, które ściśle odpowiadają odpowiednio wymiarom zasięgu i utrzymania w RE-AIM.