RE-AIM-Kader

RE-AIM is een volksgezondheidsevaluatiekader dat een digitale gezondheidsinterventie beoordeelt over vijf afzonderlijke dimensies — Reach (Bereik), Effectiveness (Effectiviteit), Adoption (Adoptie), Implementation (Implementatie), en Maintenance (Behoud) — in plaats van via een enkele maatstaf. Het bestaat om een specifieke, veelvoorkomende faalmodus in digitale gezondheidsevaluatie te corrigeren: een programma dat indrukwekkende effectiviteitsgegevens rapporteert uit een kleine, gemotiveerde pilotpopulatie terwijl het nooit op schaal wordt aangenomen, of nooit wordt behouden na de gefinancierde pilotperiode, heeft eigenlijk geen volksgezondheidswaarde aangetoond, hoe goed de koptekstresultaatcijfers ook geïsoleerd lijken.

Waarom het belangrijk is

Digitale gezondheidspilots worden vaak alleen beoordeeld op effectiviteit — verbeterde de uitkomstmaatstaf voor de mensen die het gebruikten — terwijl de andere vier dimensies ongemeten of ongerapporteerd blijven, wat de bewijsbasis systematisch vertekent naar interventies die goed werken onder ideale, kleinschalige omstandigheden maar niets zeggen over of ze op schaal werken, de populatie bereiken die ze het meest nodig heeft, of hun initiële financiering en enthousiasme overleven. RE-AIM werd specifiek ontwikkeld om evaluatoren te dwingen te rapporteren over externe validiteit (zou dit elders werken, voor wie) samen met interne validiteit (werkte dit hier), wat enorm belangrijk is voor iedereen die beslist of een digitale gezondheidsinterventie moet worden gefinancierd, aanbesteed, of opgeschaald op basis van de resultaten van een enkele studie of pilot. Omdat elk van de vijf dimensies kan worden gemeten op zowel individueel als organisatorisch of omgevingsniveau, onthult RE-AIM ook afwegingen — bijvoorbeeld een zeer effectieve interventie geleverd door zeer geselecteerd, zeer getraind personeel (sterke effectiviteit, zwakke adoptierepresentativiteit) — die een enkele gecombineerde maatstaf volledig zou verbergen.

Hoe het wordt toegepast

Reach (Bereik)         = aandeel van de in aanmerking komende
                         doelpopulatie dat deelneemt, en hoe
                         representatief deelnemers zijn voor die
                         in aanmerking komende populatie (niet
                         alleen het ruwe deelnemersaantal)

Effectiveness           = impact op primaire uitkomsten, inclusief
(Effectiviteit)           levenskwaliteit en onbedoelde negatieve
                         gevolgen, niet alleen de enkele
                         koptekstresultaatmaatstaf

Adoption (Adoptie)      = aandeel en representativiteit van
                         omgevingen en personeel/leveringsagenten
                         die de interventie aannemen, ten opzichte
                         van alle in aanmerking komende omgevingen
                         en personeel

Implementation           = consistentie en trouw van levering
(Implementatie)            zoals bedoeld, tijd en kosten vereist
                         om het te leveren, en aanpassingen
                         gemaakt onderweg

Maintenance              = mate waarin de interventie onderdeel
(Behoud)                   wordt van routinepraktijk op lange
                         termijn, zowel op individueel niveau
                         (aanhoudende individuele-niveau-effecten)
                         als omgevings-/organisatorisch niveau
                         (institutionalisering)

Uitgewerkt voorbeeld

Een digitaal diabetespreventieprogramma wordt gepiloteerd in 20 eerstelijnszorgklinieken in een regio met in totaal 200 in aanmerking komende klinieken. Reach wordt beoordeeld als 1.200 van een geschat 15.000 in aanmerking komende patiënten over de 20 pilotklinieken (8%), waarbij deelnemers iets jonger en meer digitaal vaardig blijken dan de volledige in aanmerking komende populatie — een representativiteitskloof die het vermelden waard is in plaats van genegeerd. Effectiveness toont een klinisch betekenisvolle verlaging van gemiddelde HbA1c bij voltooiers, maar een hoge uitvalpercentage betekent dat dit effect verdund wordt wanneer beoordeeld op intention-to-treat-basis over alle ingeschreven patiënten, niet alleen voltooiers. Adoption is 20 van 200 in aanmerking komende klinieken (10%), geconcentreerd in klinieken met bovengemiddelde bestaande digitale infrastructuur — opnieuw een representativiteitszorg. Trouwbeoordeling van Implementation vindt dat de meeste klinieken het programma grotendeels leverden zoals ontworpen, hoewel twee klinieken het onboardingproces aanzienlijk verkortten onder tijdsdruk. Behoudbeoordeling een jaar nadat pilotfinanciering eindigde, vindt dat slechts 6 van de oorspronkelijke 20 klinieken het programma nog actief uitvoeren — een resultaat dat, samen gerapporteerd met het aanvankelijk veelbelovende effectiviteitscijfer, een veel vollediger en eerlijker beeld geeft van de werkelijke vooruitzichten van het programma dan effectiviteitsgegevens alleen zouden hebben gegeven.

Databronnen en voorbehouden

Elke RE-AIM-dimensie steunt meestal op een andere gegevensbron: Reach en Adoption uit inschrijvings- en geschiktheidsregistraties, Effectiveness uit klinische of uitkomstgegevens (vaak dezelfde gegevens die al elders in dit boek worden gebruikt om een specifieke maatstaf te berekenen, zoals biometrisch verbeteringspercentage), Implementation uit trouw-checklists, leveringslogs, of directe observatie, en Maintenance uit een follow-upbeoordeling uitgevoerd ruim na de initiële evaluatieperiode — wat betekent dat een volledige RE-AIM-beoordeling niet op een enkel tijdstip kan worden voltooid en vereist dat evaluatie vanaf het begin wordt gepland, niet retrospectief wordt toegevoegd. Omdat het eerlijk rapporteren van alle vijf dimensies (inclusief zwakke resultaten op sommige) meer werk is en minder flatterend dan alleen effectiviteit rapporteren, onderrapporteren gepubliceerde digitale gezondheidsevaluaties onevenredig Reach, Adoption, en Maintenance vergeleken met Effectiveness — een bekend publicatievertekeningspatroon waar iedereen die met RE-AIM gelabeld bewijs gebruikt om een beslissing te informeren, op moet letten.

Valkuilen

• Alleen effectiviteit rapporteren en dit een RE-AIM-evaluatie noemen: het gebruiken van de RE-AIM-naam terwijl slechts één van de vijf dimensies wordt gerapporteerd, ondermijnt het doel van het kader en zou niet moeten worden beschreven als een RE-AIM-beoordeling.
• Reach en Adoption meten als ruwe aantallen in plaats van aandelen van de in aanmerking komende populatie: een groot ruw deelnemersaantal kan nog steeds een klein, niet-representatief deel vertegenwoordigen van wie de interventie idealiter zou moeten bereiken; bereken altijd tegen de volledige in aanmerking komende noemer.
• Maintenance te vroeg beoordelen: institutionalisering en aanhoudend effect kunnen pas goed worden beoordeeld ruim nadat initiële financierings- of nieuwigheidseffecten zijn vervaagd; een beoordeling onmiddellijk na het einde van een pilot kan niets zeggen over Maintenance, ongeacht hoe de andere vier dimensies eruitzien.
• De vijf dimensies behandelen als gelijk gewogen of combineerbaar tot één score: RE-AIM is opzettelijk een multidimensionaal profiel, geen enkel getal; het combineren van de dimensies tot één samengestelde score gooit precies de afwegingszichtbaarheid weg die het kader is ontworpen om te behouden.

Bronnen

• Glasgow, Vogt, en Boles, "Evaluating the public health impact of health promotion interventions: the RE-AIM framework", American Journal of Public Health, het oorspronkelijk gepubliceerde kader
• RE-AIM.org, de onderhouden publieke bron van het kader voor maatstaven, planningsinstrumenten, en gepubliceerde toepassingen
• Collegiaal getoetste literatuur die RE-AIM specifiek toepast op digitale gezondheidsinterventies, bijvoorbeeld studies gepubliceerd in het Journal of Medical Internet Research (JMIR) en Translational Behavioral Medicine

Zie ook: digitaal toegangspercentage en gebruikersretentiepercentage, twee maatstaven in dit boek die nauw aansluiten bij respectievelijk de Reach- en Maintenance-dimensies van RE-AIM.