RE-AIM-Rammeværk

RE-AIM er et folkesundhedsevalueringsrammeværk, der vurderer en digital sundhedsintervention på tværs af fem adskilte dimensioner — Reach (Rækkevidde), Effectiveness (Effektivitet), Adoption (Adoption), Implementation (Implementering) og Maintenance (Vedligeholdelse) — i stedet for via en enkelt metrik. Det eksisterer for at rette op på en specifik, almindelig fejltilstand i digital sundhedsevaluering: et program, der rapporterer imponerende effektivitetsdata fra en lille, motiveret pilotpopulation, mens det aldrig bliver adopteret i skala, eller aldrig opretholdes efter den finansierede pilotperiode, har faktisk ikke demonstreret folkesundhedsværdi, uanset hvor godt de overordnede resultattal ser ud isoleret.

Hvorfor det betyder noget

Digitale sundhedspiloter vurderes ofte kun på effektivitet — forbedrede resultatmetrikken for de mennesker, der brugte den — mens de fire andre dimensioner forbliver umålte eller urapporterede, hvilket systematisk skævvrider evidensgrundlaget mod interventioner, der fungerer godt under ideelle, lille-skala-forhold, men som ikke fortæller noget om, hvorvidt de fungerer i skala, når den population, der har mest brug for dem, eller overlever deres indledende finansiering og entusiasme. RE-AIM blev specifikt udviklet til at tvinge evaluatorer til at rapportere om ekstern validitet (ville dette fungere andre steder, for hvem) sammen med intern validitet (virkede dette her), hvilket er enormt vigtigt for alle, der beslutter, om en digital sundhedsintervention skal finansieres, udbydes eller skaleres op baseret på resultaterne af en enkelt undersøgelse eller pilot. Fordi hver af de fem dimensioner kan måles på både individ- og organisations- eller miljøniveau, afslører RE-AIM også afvejninger — f.eks. en meget effektiv intervention leveret af meget udvalgt, meget trænet personale (stærk effektivitet, svag adoptionsrepræsentativitet) — som en enkelt kombineret metrik fuldstændig ville skjule.

Hvordan det anvendes

Reach (Rækkevidde)      = andel af den berettigede
                          målpopulation, der deltager, og hvor
                          repræsentative deltagerne er for den
                          berettigede population (ikke blot det
                          rå antal deltagere)

Effectiveness            = indvirkning på primære resultater,
(Effektivitet)              inklusive livskvalitet og utilsigtede
                          negative konsekvenser, ikke blot den
                          enkelte overordnede resultatmetrik

Adoption (Adoption)      = andel og repræsentativitet af
                          miljøer og personale/leveringsagenter,
                          der adopterer interventionen, i forhold
                          til alle berettigede miljøer og
                          personale

Implementation            = konsistens og troskab af levering
(Implementering)             som tilsigtet, tid og omkostning
                          krævet for at levere den, og tilpasninger
                          foretaget undervejs

Maintenance               = i hvilket omfang interventionen bliver
(Vedligeholdelse)            en del af rutinepraksis på lang sigt,
                          både på individniveau (vedvarende
                          individniveau-effekter) og
                          miljø-/organisationsniveau
                          (institutionalisering)

Et gennemarbejdet eksempel

Et digitalt diabetesforebyggelsesprogram piloteres i 20 primærplejeklinikker i en region med i alt 200 berettigede klinikker. Reach vurderes til 1.200 ud af et estimeret 15.000 berettigede patienter på tværs af de 20 pilotklinikker (8%), hvor deltagere viser sig at være lidt yngre og mere digitalt kyndige end den samlede berettigede population — et repræsentativitetshul, der er værd at nævne frem for at ignorere. Effectiveness viser et klinisk meningsfuldt fald i gennemsnitlig HbA1c blandt dem, der fuldfører programmet, men en høj frafaldsrate betyder, at denne effekt fortyndes, når den vurderes på en intention-to-treat-basis på tværs af alle tilmeldte patienter, ikke kun dem, der fuldførte. Adoption er 20 ud af 200 berettigede klinikker (10%), koncentreret i klinikker med over gennemsnitlig eksisterende digital infrastruktur — igen en repræsentativitetsbekymring. Implementations troskabsvurdering finder, at de fleste klinikker i vid udstrækning leverede programmet som designet, selvom to klinikker betydeligt forkortede onboardingprocessen under tidspres. Vedligeholdelsesvurdering et år efter pilotfinansieringen sluttede, finder, at kun 6 af de oprindelige 20 klinikker stadig aktivt kører programmet — et resultat, der, rapporteret sammen med den indledende lovende effektivitetsfigur, giver et meget mere fuldstændigt og ærligt billede af programmets reelle udsigter, end effektivitetsdata alene ville have givet.

Datakilder og forbehold

Hver RE-AIM-dimension er typisk afhængig af en anden datakilde: Reach og Adoption fra tilmeldings- og berettigelsesregistre, Effectiveness fra kliniske eller resultatdata (ofte de samme data, der allerede bruges andre steder i denne bog til at beregne en specifik metrik, såsom biometrisk forbedringsrate), Implementation fra troskabstjeklister, leveringslogs eller direkte observation, og Maintenance fra en opfølgningsvurdering udført godt efter den indledende evalueringsperiode — hvilket betyder, at en fuld RE-AIM-vurdering ikke kan fuldføres på et enkelt tidspunkt og kræver, at evaluering planlægges fra starten, ikke tilføjes retrospektivt. Fordi ærlig rapportering af alle fem dimensioner (inklusive svage resultater på nogle) er mere arbejde og mindre smigrende end at rapportere kun effektivitet, underrapporterer publicerede digitale sundhedsevalueringer uforholdsmæssigt Reach, Adoption og Maintenance sammenlignet med Effectiveness — et velkendt publikationsbias-mønster, som alle, der bruger RE-AIM-mærket evidens til at informere en beslutning, bør være opmærksomme på.

Faldgruber

• Rapportering af kun effektivitet og kaldelse af det en RE-AIM-evaluering: brug af RE-AIM-navnet, mens kun én af de fem dimensioner rapporteres, underminerer rammens formål og bør ikke beskrives som en RE-AIM-vurdering.
• Måling af Reach og Adoption som rå tal i stedet for andele af den berettigede population: et stort råt deltagerantal kan stadig repræsentere en lille, ikke-repræsentativ del af dem, interventionen ideelt skulle nå; beregn altid mod den fulde berettigede nævner.
• Vurdering af Maintenance for tidligt: institutionalisering og vedvarende effekt kan først vurderes ordentligt godt efter at indledende finansierings- eller nyhedseffekter er aftaget; en vurdering straks efter en pilots afslutning kan ikke fortælle noget om Maintenance, uanset hvordan de fire andre dimensioner ser ud.
• Behandling af de fem dimensioner som lige vægtede eller kombinerbare til én score: RE-AIM er bevidst en multidimensionel profil, ikke et enkelt tal; at kombinere dimensionerne til en sammensat score smider netop den afvejningssynlighed væk, rammen er designet til at bevare.

Kilder

• Glasgow, Vogt og Boles, "Evaluating the public health impact of health promotion interventions: the RE-AIM framework", American Journal of Public Health, det oprindeligt publicerede rammeværk
• RE-AIM.org, den vedligeholdte offentlige ressource for rammeværket for metrikker, planlægningsværktøjer og publicerede anvendelser
• Collegialt bedømt litteratur, der specifikt anvender RE-AIM på digitale sundhedsinterventioner, f.eks. undersøgelser offentliggjort i Journal of Medical Internet Research (JMIR) og Translational Behavioral Medicine

Se også: digital adgangsrate og brugerfastholdelsesrate, to metrikker i denne bog, der tæt stemmer overens med henholdsvis RE-AIM's Reach- og Maintenance-dimensioner.