Оценка по Шкале Юзабилити Системы — Метрики Цифрового Здравоохранения

Оценка по шкале юзабилити системы (System Usability Scale, SUS) — это стандартизированный опросник из 10 пунктов, используемый для количественной оценки удобства использования программного обеспечения, дающий единую оценку от 0 до 100, которую можно сопоставлять с хорошо установленными отраслевыми нормами. В отличие от индекса потребительской лояльности (Net Promoter Score), измеряющего готовность рекомендовать, или опросников исходов, сообщаемых пациентами, измеряющих клинический или функциональный статус, SUS измеряет одну конкретную вещь: насколько легко само программное обеспечение осваивать и использовать — пациентам или клиническому персоналу.

Почему это важно

Цифровой медицинский инструмент может иметь убедительную клиническую доказательную базу и привлекательное бизнес-обоснование, но терпеть неудачу на практике, потому что пациенты или клиницисты находят интерфейс запутанным, медленным или раздражающим, — а поскольку SUS является валидированным, широко используемым инструментом с десятилетиями опубликованных данных сопоставления по разным отраслям, он позволяет команде цифрового здравоохранения сопоставить удобство использования своего продукта с известным распределением, а не полагаться на неформальные впечатления или анекдотические жалобы. SUS намеренно не зависит от технологии и быстр в проведении (как правило, менее пяти минут), что делает практичным его многократное применение на итерациях проектирования, в отличие от полного исследования удобства использования или формального клинического испытания. Поскольку сбои удобства использования для клиницистов — документированный фактор выгорания (см. показатель выгорания врачей), а сбои удобства использования для пациентов — документированный фактор отказа от использования и плохих результатов цифровой грамотности (см. показатель цифровой грамотности), SUS служит недорогим сигналом раннего предупреждения об удобстве использования, способным выявить проблему проектирования до того, как она проявится в этих более значимых последующих метриках.

Как рассчитывается

Оценка SUS = ((сумма баллов нечётных пунктов − 5) +
              (25 − сумма баллов чётных пунктов)) × 2,5

Результат — единая оценка от 0 до 100 (не процент, несмотря на шкалу,
поскольку она не представляет «процент правильных ответов» или
подобное).

Опубликованная интерпретация ориентиров (Bangor и др.):
  Выше 80  — превосходное удобство использования
  68       — среднее, на основе широкой отраслевой нормы
  Ниже 51  — плохое удобство использования, требующее изучения

Разобранный пример

Телемедицинская платформа проводит стандартный 10-пунктовый опросник SUS среди 150 пациентов после их первого видеовизита. Рассчитанная средняя оценка SUS по всем респондентам составляет 74. По сравнению с широко цитируемым отраслевым средним 68 это указывает на выше среднего удобство использования для данной конкретной популяции пациентов и сценария использования, хотя оно всё ещё существенно ниже порога «превосходного» 80, который указывал бы на малое число оставшихся барьеров удобства использования. Разбивка тех же 150 ответов по возрасту показывает среднюю оценку 81 для пациентов моложе 50 лет и 62 для пациентов 65 лет и старше — разрыв, указывающий на конкретную, поддающуюся решению проблему удобства использования для пожилых пациентов, а не на общую проблему удобства использования продукта, и такой, который единое усреднённое значение скрыло бы.

Источники данных и предостережения

Данные SUS поступают непосредственно от пациентов или клиницистов, заполняющих стандартизированный 10-пунктовый опросник, и инструмент должен применяться ровно так, как валидирован (те же 10 пунктов, та же 5-балльная шкала согласия, та же формула оценки), чтобы полученную оценку можно было сопоставлять с опубликованными ориентирами; изменённая или сокращённая версия опросника, как бы благонамеренно она ни была создана, даёт оценку, которую нельзя надёжно интерпретировать относительно стандартного распределения ориентиров. SUS измеряет воспринимаемое удобство использования, которое коррелирует с объективным успехом выполнения задач (см. показатель цифровой грамотности как меру на основе выполнения задач), но не тождественно ему; продукт может иметь хорошую оценку SUS от пациентов, не пытавшихся использовать более сложные функции, поэтому сочетание SUS с объективными данными о выполнении задач даёт более полную картину, чем каждое по отдельности. Время ответа имеет значение: проведение SUS сразу после раздражающего конкретного инцидента (сбой соединения, запутанный шаг) в сравнении с проведением после гладкой сессии может смещать оценки независимо от общего удобства использования продукта.

Распространённые ошибки

Изменение пунктов стандартного опросника или оценки: даже небольшие изменения формулировок или шкалы делают недействительным сравнение с хорошо установленным опубликованным распределением ориентиров; используйте стандартный 10-пунктовый инструмент ровно так, как он валидирован.
Сообщение только средней оценки без сегментации: удобство использования часто существенно различается по возрасту пользователя, цифровой грамотности или роли (пациент и клиницист); сообщайте с сегментацией, чтобы находить конкретные, поддающиеся решению пробелы в удобстве использования, которые скрывает единое среднее.
Восприятие SUS как меры клинической эффективности: SUS измеряет именно удобство использования, а не клинический исход или удовлетворённость помощью; очень удобный в использовании инструмент всё же может не улучшать клинические исходы, и их никогда не следует смешивать или подменять одно другим.
Проведение опроса только после необычно гладких или необычно раздражающих сессий: время и контекст проведения могут смещать оценку; проводите опрос последовательно по репрезентативной выборке реальных сессий, а не только удобных или избирательно выбранных.

Источники

Brooke, J., «SUS: A Quick and Dirty Usability Scale», первоначально опубликованный инструмент
Bangor, Kortum и Miller, опубликованные исследования сопоставления SUS, установившие широко цитируемые диапазоны интерпретации оценок
Рецензируемая литература по использованию SUS в цифровом здравоохранении и оценке удобства использования телемедицины, например исследования, опубликованные в JMIR Human Factors

См. также: индекс потребительской лояльности пациентов — родственная, но отдельная метрика, сообщаемая пациентами, измеряющая удовлетворённость и лояльность, а не удобство использования программного обеспечения как такового.