Thema 25 von 31· Also in this book
RE-AIM-Rahmenwerk
RE-AIM ist ein Rahmenwerk zur Evaluation der öffentlichen Gesundheit, das eine digitale Gesundheitsintervention über fünf unterschiedliche Dimensionen hinweg bewertet – Reach (Reichweite), Effectiveness (Wirksamkeit), Adoption (Annahme), Implementation (Umsetzung) und Maintenance (Aufrechterhaltung) – statt durch eine einzelne Kennzahl. Es existiert, um einen spezifischen, häufigen Fehlermodus bei der Evaluation digitaler Gesundheit zu korrigieren: Ein Programm, das beeindruckende Wirksamkeitsdaten aus einer kleinen, motivierten Pilotpopulation berichtet, während es nie in großem Maßstab angenommen oder über seine finanzierte Pilotphase hinaus aufrechterhalten wird, hat tatsächlich keinen Wert für die öffentliche Gesundheit demonstriert, egal wie gut seine Schlagzeilenergebniszahlen isoliert aussehen.
Warum das wichtig ist
Digitale Gesundheitspilotprojekte werden häufig allein anhand der Wirksamkeit bewertet – hat sich das Ergebnismaß für die Personen verbessert, die es genutzt haben – während die anderen vier Dimensionen unermessen oder unberichtet bleiben, was die Evidenzbasis systematisch zugunsten von Interventionen verzerrt, die unter idealen, kleinmaßstäblichen Bedingungen gut funktionieren, aber nichts darüber aussagen, ob sie in großem Maßstab funktionieren, die Population erreichen, die sie am meisten benötigt, oder ihre anfängliche Finanzierung und Begeisterung überleben. RE-AIM wurde speziell entwickelt, um Evaluatoren zu zwingen, über externe Validität (würde dies anderswo funktionieren, für wen) zusammen mit interner Validität (hat dies hier funktioniert) zu berichten, was für jeden, der entscheidet, ob eine digitale Gesundheitsintervention basierend auf den Ergebnissen einer einzelnen Studie oder eines Pilotprojekts finanziert, beauftragt oder skaliert werden soll, enorm wichtig ist. Da jede der fünf Dimensionen sowohl auf individueller als auch auf organisatorischer oder Umgebungsebene gemessen werden kann, bringt RE-AIM auch Kompromisse zum Vorschein – zum Beispiel eine hochwirksame Intervention, die von hochselektiertem, hochtrainiertem Personal durchgeführt wird (starke Wirksamkeit, schwache Repräsentativität der Annahme) –, die eine einzelne kombinierte Kennzahl vollständig verbergen würde.
Wie es angewendet wird
Reach (Reichweite) = Anteil der berechtigten Zielpopulation,
der teilnimmt, und wie repräsentativ die
Teilnehmer für diese berechtigte
Population sind (nicht nur die rohe
Teilnehmerzahl)
Effectiveness = Auswirkung auf primäre Ergebnisse,
(Wirksamkeit) einschließlich Lebensqualität und
unbeabsichtigter negativer Konsequenzen,
nicht nur das einzelne Schlagzeilen-
Ergebnismaß
Adoption (Annahme) = Anteil und Repräsentativität der
Umgebungen und des Personals/der
Leistungserbringer, die die Intervention
annehmen, im Verhältnis zu allen
berechtigten Umgebungen und Personal
Implementation = Konsistenz und Treue der Durchführung
(Umsetzung) wie beabsichtigt, benötigte Zeit und
Kosten für die Durchführung, und
vorgenommene Anpassungen unterwegs
Maintenance = Ausmaß, in dem die Intervention
(Aufrechterhaltung) langfristig Teil der Routinepraxis wird,
sowohl auf individueller Ebene (anhaltende
Effekte auf individueller Ebene) als auch
auf Umgebungs-/Organisationsebene
(Institutionalisierung)
Durchgerechnetes Beispiel
Ein digitales Diabetes-Präventionsprogramm wird in 20 Hausarztpraxen in einer Region mit insgesamt 200 berechtigten Praxen pilotiert. Die Reichweite wird mit 1.200 von geschätzten 15.000 berechtigten Patienten über die 20 Pilotpraxen bewertet (8 %), wobei die Teilnehmer etwas jünger und digital kompetenter befunden werden als die vollständige berechtigte Population – eine Repräsentativitätslücke, die es wert ist, erwähnt statt ignoriert zu werden. Die Wirksamkeit zeigt eine klinisch bedeutsame Reduktion des mittleren HbA1c bei Abschließenden, aber eine hohe Abbruchrate bedeutet, dass dieser Effekt verdünnt wird, wenn er auf Intention-to-treat-Basis über alle eingeschriebenen Patienten bewertet wird, nicht nur bei Abschließenden. Die Annahme beträgt 20 von 200 berechtigten Praxen (10 %), konzentriert in Praxen mit überdurchschnittlicher bestehender digitaler Infrastruktur – wiederum ein Repräsentativitätsproblem. Die Treuebewertung der Umsetzung ergibt, dass die meisten Praxen das Programm weitgehend wie geplant durchführten, obwohl zwei Praxen den Onboarding-Prozess unter Zeitdruck erheblich verkürzten. Die Bewertung der Aufrechterhaltung ein Jahr nach Ende der Pilotfinanzierung ergibt, dass nur 6 der ursprünglichen 20 Praxen das Programm noch aktiv durchführen – ein Ergebnis, das, zusammen mit der anfänglich vielversprechenden Wirksamkeitszahl berichtet, ein viel vollständigeres und ehrlicheres Bild der realen Aussichten des Programms gibt, als die Wirksamkeitsdaten allein hätten geben können.
Datenquellen und Vorbehalte
Jede RE-AIM-Dimension stützt sich typischerweise auf eine andere Datenquelle: Reichweite und Annahme aus Einschreibungs- und Berechtigungsaufzeichnungen, Wirksamkeit aus klinischen oder Ergebnisdaten (oft dieselben Daten, die bereits anderswo in diesem Buch verwendet werden, um eine spezifische Kennzahl zu berechnen, wie die biometrische Verbesserungsrate), Umsetzung aus Treue-Checklisten, Durchführungsprotokollen oder direkter Beobachtung, und Aufrechterhaltung aus einer Nachverfolgungsbewertung, die weit nach dem anfänglichen Evaluationszeitraum durchgeführt wird – was bedeutet, dass eine vollständige RE-AIM-Bewertung nicht zu einem einzigen Zeitpunkt abgeschlossen werden kann und erfordert, dass die Evaluation von Anfang an geplant wird, nicht rückwirkend hinzugefügt. Da die ehrliche Berichterstattung über alle fünf Dimensionen (einschließlich schwacher Ergebnisse bei einigen) mehr Arbeit und weniger schmeichelhaft ist als die alleinige Berichterstattung über die Wirksamkeit, unterberichten veröffentlichte digitale Gesundheitsevaluationen Reichweite, Annahme und Aufrechterhaltung im Vergleich zur Wirksamkeit unverhältnismäßig – ein bekanntes Publikationsverzerrungsmuster, auf das jeder achten sollte, der mit RE-AIM gekennzeichnete Evidenz zur Information einer Entscheidung verwendet.
Fallstricke
- Nur Wirksamkeit berichten und es eine RE-AIM-Evaluation nennen: Die Verwendung des Namens RE-AIM, während nur eine seiner fünf Dimensionen berichtet wird, untergräbt den Zweck des Rahmenwerks und sollte nicht als RE-AIM-Bewertung beschrieben werden.
- Reichweite und Annahme als rohe Zahlen statt als Anteile der berechtigten Population messen: Eine große rohe Teilnehmerzahl kann dennoch einen kleinen, nicht repräsentativen Bruchteil derjenigen darstellen, die die Intervention idealerweise erreichen sollte; immer gegen den vollständigen berechtigten Nenner berechnen.
- Aufrechterhaltung zu früh bewerten: Institutionalisierung und anhaltender Effekt können erst gut beurteilt werden, nachdem anfängliche Finanzierungs- oder Neuheitseffekte abgeklungen sind; eine Bewertung unmittelbar nach Ende eines Pilotprojekts kann nichts über die Aufrechterhaltung aussagen, unabhängig davon, wie die anderen vier Dimensionen aussehen.
- Die fünf Dimensionen als gleich gewichtet oder zu einem Score kombinierbar behandeln: RE-AIM ist bewusst ein mehrdimensionales Profil, keine einzelne Zahl; das Kombinieren der Dimensionen zu einem zusammengesetzten Score verwirft genau die Kompromiss-Sichtbarkeit, die das Rahmenwerk bewahren soll.
Quellen
- Glasgow, Vogt und Boles, „Evaluating the public health impact of health promotion interventions: the RE-AIM framework", American Journal of Public Health, das ursprünglich veröffentlichte Rahmenwerk
- RE-AIM.org, die gepflegte öffentliche Ressource des Rahmenwerks für Maße, Planungstools und veröffentlichte Anwendungen
- Peer-begutachtete Literatur zur Anwendung von RE-AIM speziell auf digitale Gesundheitsinterventionen, beispielsweise Studien veröffentlicht im Journal of Medical Internet Research (JMIR) und Translational Behavioral Medicine
Siehe auch: digitale Zugangsrate und Nutzerbindungsrate, zwei Kennzahlen in diesem Buch, die eng auf die Dimensionen Reichweite beziehungsweise Aufrechterhaltung von RE-AIM abbilden.