Точность Маршрутизации при Сортировке — Метрики Цифрового Здравоохранения

Точность маршрутизации при сортировке — это доля обращений пациентов, в которых автоматизированный или с помощью ИИ инструмент сортировки правильно направляет пациента на соответствующий уровень и в соответствующее место оказания помощи — например, самопомощь, первичная помощь, неотложная помощь или экстренная помощь, — по оценке относительно клинически валидированного эталонного стандарта. Это метрика безопасности и эффективности для любого цифрового «входа», проверки симптомов или системы сортировки на основе ИИ: вся ценность инструмента основана на правильной, быстрой и последовательной маршрутизации пациентов.

Почему это важно

Неточный инструмент сортировки наносит вред в обоих направлениях: недосортировка (направление пациента на более низкий уровень помощи, чем ему нужен) может задержать лечение подлинного неотложного состояния, а пересортировка (направление пациента на более высокий уровень помощи, чем ему нужен) расходует дефицитные мощности экстренной и неотложной помощи и повышает стоимость и тревогу пациента без клинической пользы. Поскольку у этих двух видов ошибок столь различные последствия, точность маршрутизации при сортировке всегда следует сообщать вместе с направлением ошибок, а не единым агрегированным показателем точности, скрывающим, ошибается ли инструмент безопасно или опасно. Регуляторы и системы здравоохранения, оценивающие инструмент сортировки на основе ИИ для внедрения, всё чаще требуют такой стратифицированной отчётности о точности как условия клинического одобрения, особенно для инструментов, работающих с какой-либо степенью автономности от клинициста.

Как рассчитывается

Точность маршрутизации при сортировке = правильно направленные обращения /
                                        общее число отсортированных
                                        обращений × 100

Сообщайте недосортировку и пересортировку отдельно:
  Показатель недосортировки = обращения, направленные на более низкий
                              уровень остроты, чем по эталонному
                              стандарту / общее число отсортированных
                              обращений × 100
  Показатель пересортировки = обращения, направленные на более высокий
                              уровень остроты, чем по эталонному
                              стандарту / общее число отсортированных
                              обращений × 100

Эталонный стандарт — как правило, ретроспективная экспертиза того же
случая клиницистом, по возможности слепая относительно результата
работы инструмента.

Разобранный пример

Инструмент проверки симптомов на основе ИИ сортирует за месяц 5 000 обращений пациентов. Слепая экспертиза клиницистом случайной выборки из 500 из этих обращений показывает, что 430 были направлены на правильный уровень остроты (точность 86 %), 45 были недосортированы (9 %) и 25 пересортированы (5 %). Показатель недосортировки 9 % — тот показатель, который наиболее срочно требует изучения, поскольку он представляет обращения, при которых пациент мог быть направлен на менее срочную помощь, чем ему фактически требовалась; показатель пересортировки 5 % — проблема мощностей и затрат, но не прямая проблема безопасности.

Источники данных и предостережения

Эталонный стандарт, относительно которого измеряется точность сортировки, имеет огромное значение: экспертиза одним клиницистом вносит изменчивость его собственных суждений, поэтому достоверный показатель точности, как правило, требует либо нескольких независимых экспертов с документированным межэкспертным согласием, либо сравнения с последующим подтверждённым клиническим исходом (какая помощь фактически потребовалась пациенту, установленная задним числом). Важна и выборка: экспертиза только удобной выборки обращений или только тех, что помечены как необычные, не даст показателя, обобщаемого на общую работу инструмента. Показатели точности следует сообщать отдельно по категории ведущего симптома или жалобы, где позволяет базовый объём случаев, поскольку инструменты сортировки редко работают равномерно при всех состояниях.

Распространённые ошибки

Сообщение единого усреднённого показателя точности: сведение недосортировки и пересортировки в одно число скрывает, склоняются ли ошибки инструмента к более опасному виду ошибок; всегда сообщайте их отдельно.
Использование единственного неслепого эксперта в качестве эталонного стандарта: это может незаметно сместить показатель точности в сторону того, что сделал бы сам этот эксперт, а не независимого клинического стандарта.
Валидация только на ретроспективных удобных данных: реальная точность маршрутизации инструмента при живых, неоднозначных вводных данных пациента часто существенно отличается от его точности на отобранном валидационном наборе, составленном в ходе разработки.
Игнорирование дрейфа производительности после внедрения: точность модели сортировки на основе ИИ может снижаться со временем по мере изменения популяций пациентов, ведущих симптомов или доступности маршрутов помощи; точность следует перемеривать регулярно, а не валидировать однажды и считать стабильной.

Источники

ONC / HealthIT.gov, руководство по безопасности и обеспечению качества систем поддержки клинических решений и инструментов на основе ИИ
Рецензируемая литература по точности инструментов проверки симптомов и сортировки на основе ИИ, например исследования, опубликованные в JAMIA, npj Digital Medicine и BMJ Health & Care Informatics
NHS England, руководство по клинической безопасности инструментов цифровой сортировки и дистанционных консультаций (стандарты управления клиническими рисками DCB0129/DCB0160)

См. также: время обработки цифрового направления — процессная метрика, наиболее непосредственно следующая за решением о сортировке.