시스템 사용성 척도 점수

시스템 사용성 척도(SUS) 점수는 소프트웨어의 사용성을 정량화하기 위해 사용되는 표준화된 10문항 설문지로, 잘 확립된 업계 규범에 대해 벤치마크할 수 있는 0에서 100까지의 단일 점수를 생성한다. 추천 의향을 측정하는 순추천지수나 임상적 또는 기능적 상태를 측정하는 환자 보고 결과 측정과 달리, SUS는 한 가지 특정한 것을 측정한다: 소프트웨어 자체가 환자나 임상 직원에게 얼마나 쉽게 배우고 사용할 수 있는지.

왜 중요한가

디지털 헬스 도구는 강력한 임상 증거와 설득력 있는 비즈니스 사례를 가지고 있으면서도 환자나 임상의가 인터페이스를 혼란스럽거나 느리거나 사용하기 불편하다고 느끼기 때문에 실제로 실패할 수 있다. SUS는 업계 전반에 걸쳐 수십 년의 발표된 벤치마킹 데이터를 가진 검증되고 널리 사용되는 도구이므로, 디지털 헬스 팀이 비공식적인 인상이나 일화적인 불만에 의존하는 대신 자사 제품의 사용성을 알려진 분포와 비교할 수 있게 한다. SUS는 의도적으로 기술에 구애받지 않으며 신속하게 시행할 수 있어서(일반적으로 5분 미만), 완전한 사용성 연구나 공식 임상시험과 달리 디자인 반복에 걸쳐 반복적으로 실행하는 것이 실용적이다. 임상의 대상 사용성 실패는 번아웃의 문서화된 기여 요인이며(의사 번아웃률 참조) 환자 대상 사용성 실패는 포기 및 저조한 디지털 건강 문해력 결과의 문서화된 기여 요인이므로(디지털 건강 문해력 비율 참조), SUS는 디자인 문제가 더 중대한 하류 지표에 나타나기 전에 이를 포착할 수 있는 저비용 조기 경고 사용성 신호로 기능한다.

계산 방법

SUS 점수 = ((홀수 번호 항목 점수의 합 − 5) +
           (25 − 짝수 번호 항목 점수의 합)) × 2.5

결과는 0에서 100까지의 단일 점수다(척도에도 불구하고 "정답률"
이나 그와 유사한 것을 나타내지 않으므로 백분율이 아님).

발표된 벤치마크 해석(Bangor 외):
  80 초과   — 우수한 사용성
  68        — 평균, 광범위한 업계 규범에 기반
  51 미만   — 저조한 사용성, 조사 필요

계산 예시

한 원격의료 플랫폼이 첫 화상 방문 후 150명의 환자에게 표준 10문항 SUS 설문지를 시행한다. 모든 응답자에 걸쳐 계산된 평균 SUS 점수는 74다. 널리 인용되는 업계 평균 68에 대해 벤치마크하면, 이는 이 특정 환자 모집단 및 사용 사례에 대해 평균 이상의 사용성을 나타내지만, 남아있는 사용성 장벽이 거의 없음을 시사할 "우수" 기준값인 80에는 여전히 의미 있게 미치지 못한다. 동일한 150개 응답을 연령별로 세분화하면 50세 미만 환자의 평균 점수는 81이고 65세 이상 환자는 62로, 이 격차는 일반적인 제품 사용성 문제가 아니라 고령 환자에 대한 구체적이고 해결 가능한 사용성 문제를 가리키며, 단일 혼합 평균으로는 숨겨졌을 것이다.

데이터 출처 및 주의사항

SUS 데이터는 표준 10문항 설문지를 완료하는 환자나 임상의로부터 직접 나오며, 결과 점수가 발표된 벤치마크와 비교 가능하려면 도구가 검증된 그대로 정확히 시행되어야 한다(동일한 10개 항목, 동일한 5점 동의 척도, 동일한 점수 공식). 아무리 선의라도 설문지의 수정되거나 단축된 버전은 표준 벤치마크 분포에 대해 신뢰성 있게 해석할 수 없는 점수를 생성한다. SUS는 인지된 사용성을 측정하며, 이는 객관적인 과제 완료 성공과 상관관계가 있지만 동일하지는 않다(과제 완료 기반 측정에 대해서는 디지털 건강 문해력 비율 참조). 제품은 더 복잡한 기능을 시도하지 않은 환자로부터 좋은 SUS 점수를 받을 수 있으므로, SUS를 객관적인 과제 완료 데이터와 짝을 이루면 둘 중 하나만보다 더 완전한 그림을 제공한다. 응답 시기도 중요하다: 특정한 좌절스러운 사건(연결 실패, 혼란스러운 단계) 직후에 SUS를 시행하는 것과 원활한 세션 후에 시행하는 것은 제품의 전반적인 사용성과 무관하게 점수를 이동시킬 수 있다.

함정

• 표준 설문지 항목이나 점수 산정 수정: 사소한 문구나 척도 변경조차도 잘 확립된 발표된 벤치마크 분포와의 비교를 무효화한다. 검증된 그대로 정확히 표준 10문항 도구를 사용해야 한다.
• 세분화 없이 평균 점수만 보고: 사용성은 사용자 연령, 디지털 문해력, 또는 역할(환자 대 임상의)에 따라 크게 다른 경우가 많다. 단일 평균이 숨기는 구체적이고 해결 가능한 사용성 격차를 찾으려면 보고를 세분화해야 한다.
• SUS를 임상적 효과성의 척도로 취급: SUS는 특히 사용성을 측정하지, 임상 결과나 진료 만족도를 측정하지 않는다. 매우 사용성이 좋은 도구도 임상 결과를 개선하지 못할 수 있으며, 이 둘은 절대 혼동되거나 서로 대체되어서는 안 된다.
• 유별나게 원활하거나 유별나게 좌절스러운 세션 후에만 설문 시행: 시행의 시기와 맥락은 점수를 왜곡할 수 있다. 편리하거나 선택적으로 선택된 세션만이 아니라 실제 세션의 대표 표본에 걸쳐 일관되게 시행해야 한다.

출처

• Brooke, J., "SUS: A Quick and Dirty Usability Scale", 원래 발표된 도구
• Bangor, Kortum, Miller, 널리 인용되는 점수 해석 구간을 확립한 발표된 SUS 벤치마킹 연구
• 디지털 헬스 및 원격의료 사용성 평가에서의 SUS 사용에 관한 동료 심사 문헌, 예를 들어 JMIR Human Factors에 게재된 연구

참고: 환자 순추천지수, 소프트웨어 사용성이 아니라 만족도와 충성도를 측정하는 관련되지만 구별되는 환자 보고 지표.