Точність Маршрутизації Тріажу — Метрики Цифрового Здоров'я

Точність маршрутизації тріажу — це частка випадків звернення пацієнтів, у яких автоматизований або ШІ-асистований інструмент тріажу правильно спрямовує пацієнта на відповідний рівень і місце надання допомоги — наприклад, самодопомога, первинна допомога, термінова допомога або невідкладна допомога, — за оцінкою відносно клінічно валідованого еталонного стандарту. Це метрика безпеки та ефективності для будь-яких цифрових «вхідних дверей», перевіряльника симптомів чи системи ШІ-тріажу: уся цінність інструмента ґрунтується на правильній, швидкій та послідовній маршрутизації пацієнтів.

Чому це важливо

Неточний інструмент тріажу завдає шкоди в обох напрямках: недотріаж (спрямування пацієнта на нижчий рівень допомоги, ніж йому потрібно) може затримати лікування справжнього невідкладного стану, тоді як надтріаж (спрямування пацієнта на вищий рівень допомоги, ніж йому потрібно) марнує обмежену потужність невідкладної та термінової допомоги й збільшує вартість і тривогу пацієнта без клінічної користі. Оскільки ці два режими збою мають настільки різні наслідки, точність маршрутизації тріажу слід завжди звітувати разом із напрямком помилок, а не як єдину агреговану цифру точності, що приховує, чи інструмент помиляється безпечно чи небезпечно. Регулятори та системи охорони здоров'я, які оцінюють інструмент ШІ-тріажу для впровадження, дедалі частіше вимагають такого стратифікованого звітування про точність як умови клінічного погодження, особливо для інструментів, що працюють із будь-яким ступенем автономності від клініциста.

Як це обчислюється

Точність маршрутизації тріажу = правильно спрямовані випадки /
                                 усі випадки, що пройшли тріаж × 100

Звітуйте недотріаж і надтріаж окремо:
  Рівень недотріажу = випадки, спрямовані на нижчий рівень гостроти,
                      ніж за еталонним стандартом / усі випадки, що
                      пройшли тріаж × 100
  Рівень надтріажу  = випадки, спрямовані на вищий рівень гостроти,
                      ніж за еталонним стандартом / усі випадки, що
                      пройшли тріаж × 100

Еталонний стандарт — зазвичай ретроспективний огляд тієї самої справи
клініцистом, за можливості засліплений щодо результату інструмента.

Практичний приклад

Інструмент ШІ-перевіряльника симптомів за місяць проводить тріаж 5 000 випадків звернення пацієнтів. Засліплений клінічний огляд випадкової вибірки з 500 цих випадків показує, що 430 було спрямовано на правильний рівень гостроти (точність 86 %), 45 було недотріажовано (9 %), а 25 — надтріажовано (5 %). Рівень недотріажу 9 % — це показник, який найтерміновіше потребує дослідження, оскільки він відображає випадки, де пацієнта могли спрямувати на менш термінову допомогу, ніж йому реально була потрібна; рівень надтріажу 5 % — це проблема потужності та вартості, але не безпосередньо безпеки.

Джерела даних і застереження

Еталонний стандарт, відносно якого вимірюється точність тріажу, має величезне значення: огляд одним клініцистом вносить мінливість власного судження цього клініциста, тому достовірна цифра точності зазвичай вимагає або кількох незалежних рецензентів із задокументованою міжоцінювачевою узгодженістю, або порівняння з подальшим підтвердженим клінічним результатом (яка допомога пацієнту фактично була потрібна, встановлено постфактум). Вибірка також має значення: огляд лише зручної вибірки випадків або лише тих, що позначені як незвичайні, не дасть цифри, яку можна узагальнити на загальну продуктивність інструмента. Цифри точності слід звітувати окремо за категорією симптому чи скарги, з якою звернувся пацієнт, де це дозволяє обсяг базових випадків, оскільки інструменти тріажу рідко працюють однаково для всіх станів.

Пастки

Звітування єдиної усередненої цифри точності: зведення недотріажу та надтріажу в одне число приховує, чи схиляються помилки інструмента до небезпечнішого режиму збою; завжди звітуйте їх окремо.
Використання єдиного незасліпленого рецензента як еталонного стандарту: це може непомітно зміщувати цифру точності в бік того, що зробив би сам цей рецензент, а не незалежного клінічного стандарту.
Валідація лише на ретроспективних, зручних даних: реальна точність маршрутизації інструмента за живого, неоднозначного вводу пацієнта часто суттєво відрізняється від його точності на підібраному валідаційному наборі, зібраному під час розробки.
Ігнорування дрейфу продуктивності після впровадження: точність моделі ШІ-тріажу може погіршуватися з часом, коли змінюються популяції пацієнтів, симптоми, з якими вони звертаються, або доступність маршрутів допомоги; точність слід повторно вимірювати регулярно, а не валідувати один раз і вважати стабільною.

Джерела

ONC / HealthIT.gov, настанови щодо безпеки та забезпечення якості підтримки клінічних рішень та інструментів на основі ШІ
Рецензована література щодо точності перевіряльників симптомів та інструментів ШІ-тріажу, наприклад дослідження, опубліковані в JAMIA, npj Digital Medicine та BMJ Health & Care Informatics
NHS England, настанови щодо клінічної безпеки інструментів цифрового тріажу та дистанційних консультацій (стандарти управління клінічними ризиками DCB0129/DCB0160)

Дивіться також: час обробки цифрового направлення, процесна метрика, яка безпосередньо слідує за рішенням тріажу.