RE-AIM-ramverket

RE-AIM är ett folkhälsoutvärderingsramverk som bedömer en digital hälsointervention över fem distinkta dimensioner – Reach (Räckvidd), Effectiveness (Effektivitet), Adoption (Adoption), Implementation (Implementering), och Maintenance (Vidmakthållande) – snarare än genom något enskilt mått. Det existerar för att korrigera en specifik, vanlig felmod i utvärdering av digital hälsa: ett program som rapporterar imponerande effektivitetsdata från en liten, motiverad pilotpopulation samtidigt som det aldrig antas i stor skala, eller aldrig vidmakthålls efter sin finansierade pilotperiod, har inte faktiskt demonstrerat folkhälsovärde, hur bra dess rubrikutfallssiffror än ser ut isolerat.

Varför det är viktigt

Digitala hälsopiloter utvärderas ofta enbart på effektivitet – förbättrades utfallsmåttet för de personer som använde det – medan de andra fyra dimensionerna lämnas omätta eller orapporterade, vilket systematiskt snedvrider evidensbasen mot interventioner som fungerar bra under ideala, småskaliga förhållanden men inte säger något om huruvida de fungerar i stor skala, når den population som mest behöver dem, eller överlever bortom sin initiala finansiering och entusiasm. RE-AIM utvecklades specifikt för att tvinga utvärderare att rapportera om extern validitet (skulle detta fungera någon annanstans, för vem) tillsammans med intern validitet (fungerade detta här), vilket spelar enormt stor roll för alla som beslutar om huruvida de ska finansiera, upphandla eller skala en digital hälsointervention baserat på resultaten från en enda studie eller pilot. Eftersom var och en av de fem dimensionerna kan mätas på både individ- och organisations- eller miljönivå, synliggör RE-AIM också avvägningar – till exempel en mycket effektiv intervention levererad av mycket utvald, mycket utbildad personal (stark effektivitet, svag representativitet för adoption) – som ett enda kombinerat mått helt skulle dölja.

Hur det tillämpas

Reach (Räckvidd)         = andel av den berättigade
                           målpopulationen som deltar, och hur
                           representativa deltagarna är för den
                           berättigade populationen (inte bara det
                           råa deltagarantalet)

Effectiveness             = påverkan på primära utfall, inklusive
(Effektivitet)              livskvalitet och oavsiktliga negativa
                           konsekvenser, inte bara det enskilda
                           rubrikutfallsmåttet

Adoption (Adoption)       = andel och representativitet hos
                           miljöer och personal/leveransagenter
                           som adopterar interventionen, i
                           förhållande till alla berättigade
                           miljöer och personal

Implementation            = konsistens och trohet i leveransen
(Implementering)            enligt avsikt, tid och kostnad som
                           krävs för att leverera den, och
                           anpassningar gjorda längs vägen

Maintenance                = i vilken utsträckning interventionen
(Vidmakthållande)           blir en del av rutinpraxis på lång
                           sikt, både på individnivå (varaktiga
                           effekter på individnivå) och
                           miljö-/organisationsnivå
                           (institutionalisering)

Genomräknat exempel

Ett digitalt diabetesförebyggande program pilotas över 20 primärvårdskliniker i en region med 200 berättigade kliniker totalt. Reach bedöms som 1 200 av uppskattade 15 000 berättigade patienter över de 20 pilotklinikerna (8 %), med deltagare som befinns vara något yngre och mer digitalt litterata än hela den berättigade populationen – en representativitetsklyfta värd att notera snarare än ignorera. Effectiveness visar en kliniskt meningsfull minskning av genomsnittlig HbA1c bland de som slutför, men en hög avhoppsgrad innebär att denna effekt späds ut när den bedöms på intention-to-treat-basis över alla inskrivna patienter, inte bara de som slutför. Adoption är 20 av 200 berättigade kliniker (10 %), koncentrerad till kliniker med över genomsnittlig befintlig digital infrastruktur – återigen, en representativitetsoro. Treubedömning av Implementation finner att de flesta kliniker levererade programmet i stort sett enligt plan, även om två kliniker avsevärt förkortade onboardingprocessen under tidspress. Vidmakthållandebedömning ett år efter att pilotfinansieringen upphörde finner att endast 6 av de ursprungliga 20 klinikerna fortfarande aktivt driver programmet – ett resultat som, rapporterat tillsammans med den initialt lovande effektivitetssiffran, ger en mycket fullständigare och ärligare bild av programmets verkliga utsikter än effektivitetsdata ensamt skulle ha gett.

Datakällor och förbehåll

Varje RE-AIM-dimension bygger vanligtvis på en annan datakälla: Reach och Adoption från inskrivnings- och berättigandeposter, Effectiveness från kliniska eller utfallsdata (ofta samma data som redan används på andra ställen i denna bok för att beräkna ett specifikt mått, såsom andel biometrisk förbättring), Implementation från trohetschecklistor, leveransloggar, eller direkt observation, och Maintenance från en uppföljningsbedömning genomförd väl efter den initiala utvärderingsperioden – vilket innebär att en fullständig RE-AIM-bedömning inte kan slutföras vid en enda tidpunkt och kräver att utvärdering planeras från början, inte läggs till retrospektivt. Eftersom att rapportera alla fem dimensioner ärligt (inklusive svaga resultat på vissa) är mer arbete och mindre smickrande än att endast rapportera effektivitet, underrapporterar publicerade digitala hälsoutvärderingar oproportionerligt Reach, Adoption och Maintenance jämfört med Effectiveness – ett känt publikationsbiasmönster som alla som använder RE-AIM-märkta bevis för att informera ett beslut bör vara vaksamma på.

Fallgropar

• Att endast rapportera effektivitet och kalla det en RE-AIM-utvärdering: att använda RE-AIM-namnet samtidigt som endast en av dess fem dimensioner rapporteras undergräver ramverkets syfte och bör inte beskrivas som en RE-AIM-bedömning.
• Att mäta Reach och Adoption som råa antal snarare än andelar av den berättigade populationen: ett stort rått deltagarantal kan fortfarande representera en liten, icke-representativ andel av dem som interventionen idealiskt borde nå; beräkna alltid mot den fullständiga berättigade nämnaren.
• Att bedöma Maintenance för tidigt: institutionalisering och varaktig effekt kan endast bedömas väl väl efter att initial finansiering eller nyhetseffekter har avtagit; en bedömning tagen omedelbart efter att en pilot avslutas kan inte uttala sig om Maintenance oavsett hur de andra fyra dimensionerna ser ut.
• Att behandla de fem dimensionerna som lika viktade eller kombinerbara till en poäng: RE-AIM är avsiktligt en flerdimensionell profil, inte en enda siffra; att kombinera dimensionerna till en sammansatt poäng kastar bort precis den avvägningssynlighet som ramverket är designat för att bevara.

Källor

• Glasgow, Vogt och Boles, "Evaluating the public health impact of health promotion interventions: the RE-AIM framework", American Journal of Public Health, det ursprungligen publicerade ramverket
• RE-AIM.org, ramverkets underhållna offentliga resurs för mått, planeringsverktyg, och publicerade tillämpningar
• Kollegialt granskad litteratur som tillämpar RE-AIM på digitala hälsointerventioner specifikt, exempelvis studier publicerade i Journal of Medical Internet Research (JMIR) och Translational Behavioral Medicine

Se även: digital tillgångsgrad och användarretentionsgrad, två mått i denna bok som nära mappar till RE-AIM:s dimensioner Reach respektive Maintenance.