RE-AIMフレームワーク — デジタルヘルス指標

RE-AIMは、単一の指標を通してではなく、Reach(到達)、Effectiveness(有効性)、Adoption(採用)、Implementation(実装)、Maintenance(維持)という5つの異なる次元にわたってデジタルヘルス介入を評価する公衆衛生評価フレームワークである。これは、デジタルヘルス評価における特定の一般的な失敗モードを是正するために存在する:小規模で意欲的なパイロット集団から印象的な有効性データを報告しながら、大規模に採用されることがなく、あるいは資金提供されたパイロット期間を超えて維持されることのなかったプログラムは、その見出しの成果数値が孤立してどれほど良く見えても、実際には公衆衛生上の価値を実証したことにはならない。

なぜ重要か

デジタルヘルスのパイロットは、他の4つの次元を未測定または未報告のままにして、有効性のみで評価されることが多い——それを使用した人々の成果指標が改善したかどうか——これは、理想的で小規模な条件下ではうまく機能するが、それが大規模に機能するか、最も必要としている集団に到達するか、あるいは初期の資金提供と熱意を超えて生き残るかについては何も語らない介入に向けて、証拠基盤を体系的に偏らせる。RE-AIMは、単一の研究やパイロットの結果に基づいてデジタルヘルス介入に資金提供、委託、または拡大するかどうかを決定する誰にとっても非常に重要な、内部妥当性(ここでうまくいったか)とともに外部妥当性(これは他の場所でもうまくいくか、誰にとって)を評価者に報告させることを強制するために特別に開発された。5つの次元それぞれが個人レベルと組織・設定レベルの両方で測定できるため、RE-AIMはまた、単一の統合指標では完全に隠されてしまうトレードオフも明らかにする——例えば、高度に選抜され高度に訓練されたスタッフによって提供される非常に効果的な介入(強い有効性、弱い採用の代表性)である。

適用方法

Reach(到達)         = 参加する対象となる適格集団の割合、および
                      参加者がその適格集団をどれだけ代表して
                      いるか(単なる生の参加者数だけではない)

Effectiveness        = 単一の見出しの成果指標だけでなく、生活の
(有効性)              質や意図しない負の結果を含む主要な成果
                      への影響

Adoption(採用)       = 介入を採用する設定とスタッフ/提供者
                      エージェントの割合と代表性、すべての
                      適格な設定とスタッフに対する相対値

Implementation       = 意図された通りの提供の一貫性と忠実度、
(実装)                それを提供するために必要な時間とコスト、
                      そして途中で行われた適応

Maintenance          = 介入が、個人レベル(持続する個人レベルの
(維持)                効果)と設定/組織レベル(制度化)の両方で、
                      長期的に日常的な実践の一部になる程度

計算例

あるデジタル糖尿病予防プログラムが、対象地域の適格クリニック200か所のうち20か所のプライマリケアクリニックでパイロット実施される。Reachは、20のパイロットクリニック全体で推定15,000人の適格患者のうち1,200人(8%)と評価され、参加者は完全な適格集団よりもやや若く、よりデジタルリテラシーが高いことが判明する——これは無視するのではなく注目に値する代表性のギャップである。Effectivenessは、完了者の間で平均HbA1cの臨床的に意味のある低下を示すが、高い脱落率は、完了者だけでなく登録されたすべての患者にわたってintention-to-treatベースで評価すると、この効果が薄まることを意味する。Adoptionは適格な200クリニックのうち20(10%)であり、平均以上の既存のデジタルインフラを持つクリニックに集中している——これもまた代表性の懸念である。Implementationの忠実度評価では、ほとんどのクリニックが設計通りにプログラムを提供したが、2つのクリニックは時間的プレッシャーの下でオンボーディングプロセスを大幅に短縮したことが判明する。パイロット資金提供終了から1年後のMaintenance評価では、元の20クリニックのうちわずか6か所しかまだプログラムを積極的に運営していないことが判明する——この結果は、当初有望だった有効性数値とともに報告されると、有効性データだけが示すよりもはるかに完全で正直なプログラムの実世界での見通しの姿を与える。

データソースと注意点

RE-AIMの各次元は通常、異なるデータソースに依拠している:ReachとAdoptionは登録と適格性の記録から、Effectivenessは臨床または成果データから(しばしば本書の他の場所で特定の指標、例えばバイオメトリック改善率を計算するためにすでに使用されているのと同じデータ)、Implementationは忠実度チェックリスト、提供ログ、または直接観察から、そしてMaintenanceは初期評価期間後かなり経ってから実施されるフォローアップ評価から得られる——これは、完全なRE-AIM評価を単一時点で完了することはできず、事後的に追加するのではなく最初から評価を計画する必要があることを意味する。5つの次元すべてを(一部の弱い結果を含めて)正直に報告することは有効性のみを報告することよりも多くの作業であり、見栄えが悪いため、公表されたデジタルヘルス評価は、Effectivenessと比較してReach、Adoption、Maintenanceを不均衡に過少報告している——これは、RE-AIMとラベル付けされた証拠を意思決定に利用する誰もが警戒すべき、既知の出版バイアスパターンである。

落とし穴

有効性のみを報告してそれをRE-AIM評価と呼ぶこと: RE-AIMという名前を使用しながら5つの次元のうち1つだけを報告することは、フレームワークの目的を損ない、RE-AIM評価として説明されるべきではない。
ReachとAdoptionを適格集団の割合ではなく生の数として測定すること: 大きな生の参加者数でも、介入が理想的に到達すべき対象の小さく非代表的な割合である可能性がある。常に完全な適格な分母に対して計算すること。
Maintenanceを早すぎる段階で評価すること: 制度化と持続的な効果は、初期資金提供や新奇性の効果が薄れてからかなり経ってからでなければよく判断できない。パイロット終了直後に行われた評価は、他の4つの次元がどう見えるかに関わらず、Maintenanceについて語ることはできない。
5つの次元を等しく重み付けされた、または単一のスコアに組み合わせられるものとして扱うこと: RE-AIMは意図的に多次元のプロファイルであり、単一の数値ではない。次元を1つの複合スコアに組み合わせることは、まさにこのフレームワークが保持するよう設計されているトレードオフの可視性を捨ててしまう。

出典

Glasgow、Vogt、Boles、「Evaluating the public health impact of health promotion interventions: the RE-AIM framework」、American Journal of Public Health、オリジナルの公表されたフレームワーク
RE-AIM.org、測定、計画ツール、公表された応用例のためのフレームワークが維持する公開リソース
デジタルヘルス介入に特化してRE-AIMを適用した査読付き文献、例えばJournal of Medical Internet Research (JMIR)やTranslational Behavioral Medicineに掲載された研究

関連項目: デジタルアクセス率およびユーザー継続率 — それぞれRE-AIMのReachとMaintenanceの次元に密接に対応する本書の2つの指標。