Nákvæmni flokkunar og beinleiðingar

Nákvæmni flokkunar og beinleiðingar er hlutfall samskipta þar sem sjálfvirkt eða gervigreindarstutt flokkunartæki beinir sjúklingi rétt á viðeigandi stig og vettvang umönnunar — til dæmis sjálfsumönnun, heilsugæslu, bráðaþjónustu eða neyðarþjónustu — metið gegn klínískt staðfestum viðmiðunarstaðli. Þetta er öryggis- og virknimælikvarðinn fyrir hvert stafrænt inngangsdyr, einkennaathugun eða gervigreindarflokkunarkerfi: allt gildi tækisins byggir á því að beina sjúklingum rétt, hratt og á samræmdan hátt.

Hvers vegna það skiptir máli

Ónákvæmt flokkunartæki veldur skaða í báðar áttir: vanflokkun (að beina sjúklingi á lægra umönnunarstig en hann þarf) getur tafið meðferð í raunverulegu neyðartilviki, en offlokkun (að beina sjúklingi á hærra umönnunarstig en hann þarf) sóar takmarkaðri neyðar- og bráðaþjónustugetu og eykur kostnað og kvíða sjúklings án klínísks ávinnings. Þar sem afleiðingar þessara tveggja bilunarhátta eru svo ólíkar ætti nákvæmni flokkunar og beinleiðingar alltaf að gefa upp ásamt stefnu skekkjunnar, ekki sem eina samanlagða nákvæmnitölu sem felur hvort tækið skeikar á öruggan eða hættulegan hátt. Eftirlitsaðilar og heilbrigðiskerfi sem meta gervigreindarflokkunartæki til notkunar krefjast í auknum mæli slíkrar lagskiptrar nákvæmniskýrslugerðar sem skilyrðis fyrir klínískri samþykkt, einkum fyrir tæki sem starfa með einhverri sjálfstjórn frá lækni.

Hvernig það er reiknað

Nákvæmni flokkunar og beinleiðingar = rétt beint samskipti / öll flokkuð samskipti × 100

Gefðu upp vanflokkun og offlokkun sérstaklega:
  Hlutfall vanflokkunar = samskipti beint á lægra bráðleikastig en
                          viðmiðunarstaðall / öll flokkuð samskipti × 100
  Hlutfall offlokkunar  = samskipti beint á hærra bráðleikastig en
                          viðmiðunarstaðall / öll flokkuð samskipti × 100

Viðmiðunarstaðall er yfirleitt afturvirk yfirferð læknis á sama tilviki,
blind fyrir niðurstöðu tækisins þar sem hægt er.

Dæmi útreiknað

Gervigreindartæki til einkennaathugunar flokkar 5.000 samskipti sjúklinga á mánuði. Blind yfirferð læknis á slembiúrtaki 500 þessara samskipta leiðir í ljós að 430 var beint á rétt bráðleikastig (nákvæmni 86%), 45 voru vanflokkuð (9%) og 25 offlokkuð (5%). 9% vanflokkunarhlutfallið er talan sem brýnast er að rannsaka, þar sem hún táknar samskipti þar sem sjúklingi kann að hafa verið vísað á minna brýna umönnun en hann raunverulega þurfti; 5% offlokkunarhlutfallið er áhyggjuefni varðandi getu og kostnað en ekki beint öryggismál.

Gagnalindir og fyrirvarar

Viðmiðunarstaðallinn sem nákvæmni flokkunar er mæld gegn skiptir gríðarlegu máli: yfirferð eins læknis færir inn eigin breytileika í mati þess læknis, svo trúverðug nákvæmnitala krefst yfirleitt annaðhvort margra óháðra yfirferðaraðila með skjalfestu samræmi milli matsmanna, eða samanburðar við síðari, staðfesta klíníska niðurstöðu (hvaða umönnun sjúklingurinn þurfti í raun, staðfest eftir á). Úrtakið skiptir líka máli: að fara aðeins yfir hentugleikaúrtak samskipta, eða aðeins þau sem merkt eru óvenjuleg, gefur ekki tölu sem hægt er að alhæfa um heildarframmistöðu tækisins. Nákvæmnitölur ætti að gefa upp sérstaklega eftir einkennaflokki eða umkvörtun þar sem undirliggjandi tilfellafjöldi leyfir, því flokkunartæki standa sjaldan jafnt að vígi gagnvart öllum sjúkdómum.

Gildrur

• Að gefa upp eina samanlagða nákvæmnitölu: að sameina vanflokkun og offlokkun í eina tölu felur hvort villur tækisins hallast að hættulegri bilunarhættinum; gefðu þær alltaf upp sérstaklega.
• Að nota einn, óblindaðan yfirferðaraðila sem viðmiðunarstaðal: þetta getur hljóðlega skekkt nákvæmnitöluna í átt að því sem sá yfirferðaraðili hefði sjálfur gert, frekar en óháðum klínískum staðli.
• Að staðfesta aðeins á afturvirkum, hentugum gögnum: raunveruleg nákvæmni tækis við lifandi, tvíræð inntaksgögn sjúklinga er oft verulega frábrugðin nákvæmni þess á vandlega völdu staðfestingarsetti sem sett var saman við þróun.
• Að horfa framhjá frammistöðuskriði eftir innleiðingu: nákvæmni gervigreindarflokkunarlíkans getur rýrnað með tímanum þegar sjúklingahópar, einkenni við komu eða framboð á umönnunarleiðum breytast; mæla ætti nákvæmni reglulega upp á nýtt, ekki staðfesta einu sinni og gera ráð fyrir stöðugleika.

Heimildir

• ONC / HealthIT.gov, leiðbeiningar um öryggi og gæðatryggingu klínísks ákvörðunarstuðnings og gervigreindartóla
• Ritrýnd fræðirit um nákvæmni einkennaathugana og gervigreindarflokkunartóla, til dæmis rannsóknir birtar í JAMIA, npj Digital Medicine og BMJ Health & Care Informatics
• NHS England, leiðbeiningar um klínískt öryggi stafrænna flokkunar- og fjarviðtalstóla (staðlar um áhættustjórnun DCB0129/DCB0160)

Sjá einnig: afgreiðslutími stafrænna tilvísana, ferlismælikvarðinn sem er beinast í framhaldi af flokkunarákvörðun.