トリアージ振り分け精度 — デジタルヘルス指標

トリアージ振り分け精度とは、自動化またはAI支援のトリアージツールが、臨床的に検証された基準標準に照らして、患者を適切なレベルおよび場所の医療——例えばセルフケア、プライマリケア、緊急医療、救急医療——に正しく振り分けた患者接触の割合を指す。これはあらゆるデジタルフロントドア、症状チェッカー、AIトリアージシステムにとっての安全性と有効性の指標である。そのツールの価値提案全体が、患者を正確に、迅速に、一貫して振り分けることにかかっている。

なぜ重要か

不正確なトリアージツールは両方向で害をもたらす。過小トリアージ(患者を必要とするより低いレベルの医療に振り分けること)は、本物の緊急事態の治療を遅らせる可能性がある一方、過大トリアージ(患者を必要とするより高いレベルの医療に振り分けること)は、乏しい救急・緊急医療のキャパシティを無駄にし、臨床的な利益を伴わずにコストと患者の不安を増大させる。この2つの失敗モードは結果が大きく異なるため、トリアージ振り分け精度は常にエラーの方向性とともに報告されるべきであり、ツールが安全な方向に誤っているのか危険な方向に誤っているのかを隠してしまう単一の集計精度数値として報告すべきではない。展開のためにAIトリアージツールを評価する規制当局や医療システムは、特に臨床医からある程度の自律性を持って動作するツールについて、臨床承認の条件としてこの種の層別化された精度報告をますます要求するようになっている。

算出方法

トリアージ振り分け精度 = 正しく振り分けられた接触数 / トリアージ
                        された接触総数 × 100

過小トリアージと過大トリアージを別々に報告する:
  過小トリアージ率 = 基準標準よりも低い緊急度レベルに振り分け
                    られた接触数 / トリアージされた接触総数 × 100
  過大トリアージ率 = 基準標準よりも高い緊急度レベルに振り分け
                    られた接触数 / トリアージされた接触総数 × 100

基準標準は通常、可能であればツールの出力を伏せた状態での同じ
症例に対する臨床医の遡及的レビューである。

計算例

あるAI症状チェッカーツールが月間5,000件の患者接触をトリアージした。このうちランダムに抽出した500件を対象とした盲検の臨床医レビューの結果、430件が正しい緊急度レベルに振り分けられており(精度86%)、45件が過小トリアージ(9%)、25件が過大トリアージ(5%)であることが判明した。9%の過小トリアージ率は最も緊急に調査が必要な数値である。これは、患者が実際に必要としていたよりも緊急度の低い医療に誘導された可能性のある接触を表しているためである。5%の過大トリアージ率はキャパシティとコストの懸念ではあるが、直接的な安全性の問題ではない。

データソースと注意点

トリアージ精度を測定する基準となる基準標準は非常に重要である。単一の臨床医によるレビューは、その臨床医自身の判断のばらつきを持ち込むため、信頼できる精度数値を得るには通常、文書化された評価者間一致を伴う複数の独立したレビュアー、または事後的に確認された実際の臨床結果(患者が実際に必要とした医療)との比較のいずれかが必要となる。サンプリングも重要である。接触の便宜的サンプルのみ、または異常とフラグ付けされたもののみをレビューしても、ツールの全体的な性能に一般化できる数値は得られない。基礎となる症例数が許す限り、提示された症状や訴えのカテゴリー別に精度数値を別々に報告すべきである。トリアージツールがすべての疾患で均一に機能することはめったにないためである。

落とし穴

単一の統合精度数値を報告すること: 過小トリアージと過大トリアージを1つの数値にまとめると、ツールのエラーがより危険な失敗モードに偏っているかどうかが隠れてしまう。常に別々に報告すること。
盲検化されていない単一のレビュアーを基準標準として使用すること: これは精度数値を、独立した臨床基準ではなく、そのレビュアー自身が下したであろう判断に向けて密かに偏らせる可能性がある。
遡及的で便宜的なデータのみで検証すること: ライブで曖昧な患者入力下でのツールの実際の振り分け精度は、開発中に作成されたキュレーション済みの検証セットでの精度とは大きく異なることが多い。
展開後の性能ドリフトを無視すること: AIトリアージモデルの精度は、患者集団、提示される症状、または医療経路の可用性が変化するにつれて時間とともに低下する可能性がある。精度は一度検証して安定していると仮定するのではなく、定期的に再測定されるべきである。

出典

ONC / HealthIT.gov、臨床意思決定支援およびAI対応ツールの安全性と品質保証に関するガイダンス
症状チェッカーおよびAIトリアージツールの精度に関する査読付き文献、例えばJAMIA、npj Digital Medicine、BMJ Health & Care Informaticsに掲載された研究
NHS England、デジタルトリアージおよび遠隔診察ツールの臨床的安全性に関するガイダンス(DCB0129/DCB0160臨床リスク管理基準)

関連項目: デジタル紹介処理時間 — トリアージ判断の直接の下流にある最も関連性の高いプロセス指標。