RE-AIM-rammeverket — Digitale Helsemetrikker

RE-AIM er et rammeverk for evaluering innen folkehelse som vurderer et digitalt helsetiltak langs fem distinkte dimensjoner, Reach (rekkevidde), Effectiveness (effektivitet), Adoption (adopsjon), Implementation (implementering) og Maintenance (vedlikehold), i stedet for gjennom én enkelt metrikk. Det finnes for å korrigere en spesifikk, vanlig svikt i evaluering av digital helse: et program som rapporterer imponerende effektivitetsdata fra en liten, motivert pilotpopulasjon uten noensinne å bli tatt i bruk i stor skala, eller uten å bli opprettholdt etter den finansierte pilotperioden, har ikke faktisk vist folkehelseverdi, uansett hvor gode hovedutfallstallene ser ut isolert sett.

Hvorfor dette er viktig

Digitale helsepiloter evalueres ofte kun på effektivitet, altså om utfallsmålet ble bedre for dem som brukte det, mens de fire andre dimensjonene forblir umålte eller urapporterte. Dette skjeve systematisk kunnskapsgrunnlaget mot tiltak som fungerer godt under ideelle forhold i liten skala, men som ikke sier noe om hvorvidt de fungerer i stor skala, når ut til populasjonen som trenger dem mest, eller overlever utover den innledende finansieringen og entusiasmen. RE-AIM ble utviklet spesifikt for å tvinge evaluatorer til å rapportere om ekstern validitet (ville dette fungert andre steder, for hvem) ved siden av intern validitet (fungerte dette her), noe som er av enorm betydning for alle som skal avgjøre om de vil finansiere, bestille eller skalere et digitalt helsetiltak basert på resultatene fra en enkelt studie eller pilot. Fordi hver av de fem dimensjonene kan måles både på individnivå og på organisasjons- eller settingnivå, synliggjør RE-AIM også avveininger, for eksempel et svært effektivt tiltak levert av sterkt utvalgt, sterkt opplært personell (sterk effektivitet, svak representativitet i adopsjon), som en enkelt samlet metrikk ville skjult fullstendig.

Hvordan det brukes

Reach (rekkevidde)         = andelen av den kvalifiserte
                             målpopulasjonen som deltar, og hvor
                             representative deltakerne er for denne
                             kvalifiserte populasjonen (ikke bare
                             rått antall deltakere)

Effectiveness (effektivitet) = effekt på primære utfall, inkludert
                             livskvalitet og utilsiktede negative
                             konsekvenser, ikke bare det enkelte
                             utfallsmålet i overskriften

Adoption (adopsjon)        = andel og representativitet av settinger
                             og personell/leveringsagenter som tar i
                             bruk tiltaket, i forhold til alle
                             kvalifiserte settinger og alt personell

Implementation (implementering) = konsistens og troskap i leveringen
                             som tiltenkt, tid og kostnad som kreves
                             for å levere det, og tilpasninger gjort
                             underveis

Maintenance (vedlikehold)  = i hvilken grad tiltaket blir en del av
                             rutinepraksis på lang sikt, både på
                             individnivå (vedvarende effekter på
                             individnivå) og på setting-/
                             organisasjonsnivå (institusjonalisering)

Gjennomarbeidet eksempel

Et digitalt program for diabetesforebygging pilottestes ved 20 fastlegekontorer i en region med 200 kvalifiserte kontorer totalt. Rekkevidden vurderes som 1 200 av anslagsvis 15 000 kvalifiserte pasienter ved de 20 pilotkontorene (8 %), og deltakerne viser seg å være noe yngre og mer digitalt kompetente enn den fulle kvalifiserte populasjonen, et representativitetsgap det er verdt å merke seg i stedet for å ignorere. Effektiviteten viser en klinisk meningsfull reduksjon i gjennomsnittlig HbA1c blant fullførere, men en høy frafallsrate gjør at denne effekten fortynnes når den vurderes ut fra intention-to-treat på tvers av alle innrullerte pasienter, ikke bare fullførere. Adopsjonen er 20 av 200 kvalifiserte kontorer (10 %), konsentrert i kontorer med over gjennomsnittet god eksisterende digital infrastruktur, igjen et representativitetsproblem. Vurderingen av troskap i implementeringen finner at de fleste kontorer leverte programmet i hovedsak som utformet, selv om to kontorer i betydelig grad forkortet introduksjonsprosessen under tidspress. Vurderingen av vedlikehold ett år etter at pilotfinansieringen tok slutt finner at bare 6 av de opprinnelige 20 kontorene fortsatt aktivt driver programmet, et resultat som, rapportert sammen med det innledningsvis lovende effektivitetstallet, gir et mye mer fullstendig og ærlig bilde av programmets reelle utsikter enn effektivitetsdata alene ville gitt.

Datakilder og forbehold

Hver RE-AIM-dimensjon henter vanligvis på en ulik datakilde: rekkevidde og adopsjon fra innrullerings- og kvalifikasjonsregistre, effektivitet fra kliniske data eller utfallsdata (ofte de samme dataene som allerede brukes til å beregne en spesifikk metrikk andre steder i denne boken, som biometrisk forbedringsrate), implementering fra sjekklister for troskap, leveringslogger eller direkte observasjon, og vedlikehold fra en oppfølgingsvurdering utført lenge etter den innledende evalueringsperioden. Det betyr at en full RE-AIM-vurdering ikke kan fullføres på ett enkelt tidspunkt og krever at evalueringen planlegges fra begynnelsen, ikke legges til i ettertid. Fordi det er mer arbeid og mindre flatterende å rapportere ærlig om alle fem dimensjonene (inkludert svake resultater på noen) enn å rapportere bare effektivitet, underrapporterer publiserte evalueringer av digital helse uforholdsmessig mye rekkevidde, adopsjon og vedlikehold sammenlignet med effektivitet, et kjent mønster av publikasjonsskjevhet som enhver som bruker RE-AIM-merket dokumentasjon som beslutningsgrunnlag bør se opp for.

Fallgruver

Rapportere bare effektivitet og kalle det en RE-AIM-evaluering: å bruke navnet RE-AIM mens bare én av de fem dimensjonene rapporteres undergraver rammeverkets formål og bør ikke beskrives som en RE-AIM-vurdering.
Måle rekkevidde og adopsjon som rå antall i stedet for andeler av den kvalifiserte populasjonen: et stort rått antall deltakere kan likevel representere en liten, urepresentativ brøkdel av dem tiltaket ideelt sett burde nå; beregn alltid mot hele den kvalifiserte nevneren.
Vurdere vedlikehold for tidlig: institusjonalisering og vedvarende effekt kan bare bedømmes godt etter at innledende finansiering eller nyhetseffekter har avtatt; en vurdering rett etter at en pilot er avsluttet kan ikke si noe om vedlikehold, uansett hvordan de fire andre dimensjonene ser ut.
Behandle de fem dimensjonene som likt vektet eller kombinerbare til én skår: RE-AIM er bevisst en flerdimensjonal profil, ikke ett enkelt tall; å kombinere dimensjonene til en samlet skår forkaster nettopp den synligheten av avveininger rammeverket er designet for å bevare.

Kilder

Glasgow, Vogt og Boles, "Evaluating the public health impact of health promotion interventions: the RE-AIM framework", American Journal of Public Health, det opprinnelig publiserte rammeverket
RE-AIM.org, rammeverkets vedlikeholdte offentlige ressurs for mål, planleggingsverktøy og publiserte anvendelser
Fagfellevurdert litteratur som anvender RE-AIM spesifikt på digitale helsetiltak, for eksempel studier publisert i Journal of Medical Internet Research (JMIR) og Translational Behavioral Medicine

Se også: digital tilgangsrate og brukerretensjonsrate, to av denne bokens metrikker som samsvarer nært med henholdsvis RE-AIMs dimensjoner rekkevidde og vedlikehold.