ความแม่นยำของการคัดกรองและส่งต่อ

ความแม่นยำของการคัดกรองและส่งต่อคือสัดส่วนของการพบผู้ป่วยที่เครื่องมือคัดกรองอัตโนมัติหรือที่ใช้ปัญญาประดิษฐ์ช่วยส่งต่อผู้ป่วยไปยังระดับและสถานที่ให้การดูแลที่เหมาะสมได้ถูกต้อง เช่น การดูแลตนเอง การดูแลปฐมภูมิ การดูแลเร่งด่วน หรือการดูแลฉุกเฉิน ตัดสินเทียบกับมาตรฐานอ้างอิงที่ผ่านการตรวจสอบความถูกต้องทางคลินิก เป็นตัวชี้วัดความปลอดภัยและประสิทธิผลสำหรับ "ประตูหน้าดิจิทัล" เครื่องมือตรวจอาการ หรือระบบคัดกรองด้วย AI ใด ๆ คุณค่าทั้งหมดของเครื่องมืออยู่ที่การส่งต่อผู้ป่วยอย่างถูกต้อง รวดเร็ว และสม่ำเสมอ

เหตุใดจึงสำคัญ

เครื่องมือคัดกรองที่ไม่แม่นยำก่อให้เกิดอันตรายทั้งสองทิศทาง การคัดกรองต่ำกว่าจริง (ส่งต่อผู้ป่วยไปยังระดับการดูแลที่ต่ำกว่าที่จำเป็น) อาจทำให้การรักษาภาวะฉุกเฉินที่แท้จริงล่าช้า ขณะที่การคัดกรองสูงกว่าจริง (ส่งต่อผู้ป่วยไปยังระดับการดูแลที่สูงกว่าที่จำเป็น) สิ้นเปลืองความจุการดูแลฉุกเฉินและเร่งด่วนที่มีจำกัด และเพิ่มต้นทุนและความกังวลของผู้ป่วยโดยไม่มีประโยชน์ทางคลินิก เนื่องจากรูปแบบความล้มเหลวทั้งสองมีผลที่ต่างกันมาก จึงควรรายงานความแม่นยำของการคัดกรองและส่งต่อควบคู่กับทิศทางของข้อผิดพลาดเสมอ ไม่ใช่เป็นตัวเลขความแม่นยำรวมเดียวที่ซ่อนว่าเครื่องมือผิดพลาดในทางที่ปลอดภัยหรืออันตราย หน่วยงานกำกับดูแลและระบบสุขภาพที่ประเมินเครื่องมือคัดกรอง AI เพื่อนำไปใช้เรียกร้องการรายงานความแม่นยำแบบแบ่งชั้นเช่นนี้มากขึ้นเรื่อย ๆ เป็นเงื่อนไขของการอนุมัติทางคลินิก โดยเฉพาะสำหรับเครื่องมือที่ทำงานโดยมีความเป็นอิสระจากแพทย์ในระดับหนึ่ง

วิธีคำนวณ

ความแม่นยำของการคัดกรองและส่งต่อ = การพบที่ส่งต่อถูกต้อง / การพบที่
                                  ผ่านการคัดกรองทั้งหมด × 100

รายงานการคัดกรองต่ำกว่าจริงและสูงกว่าจริงแยกกัน:
  อัตราการคัดกรองต่ำกว่าจริง = การพบที่ส่งต่อไปยังระดับความเร่งด่วน
                               ต่ำกว่ามาตรฐานอ้างอิง / การพบที่ผ่านการ
                               คัดกรองทั้งหมด × 100
  อัตราการคัดกรองสูงกว่าจริง = การพบที่ส่งต่อไปยังระดับความเร่งด่วน
                               สูงกว่ามาตรฐานอ้างอิง / การพบที่ผ่านการ
                               คัดกรองทั้งหมด × 100

มาตรฐานอ้างอิงโดยทั่วไปคือการทบทวนย้อนหลังของแพทย์สำหรับกรณีเดียวกัน
โดยปกปิดผลลัพธ์ของเครื่องมือจากแพทย์เมื่อทำได้

ตัวอย่างการคำนวณ

เครื่องมือตรวจอาการด้วย AI คัดกรองการพบผู้ป่วย 5,000 ครั้งในหนึ่งเดือน การทบทวนโดยแพทย์แบบปกปิดจากตัวอย่างสุ่ม 500 ครั้งพบว่า 430 ครั้งถูกส่งต่อไปยังระดับความเร่งด่วนที่ถูกต้อง (ความแม่นยำ 86%) 45 ครั้งถูกคัดกรองต่ำกว่าจริง (9%) และ 25 ครั้งถูกคัดกรองสูงกว่าจริง (5%) อัตราการคัดกรองต่ำกว่าจริง 9% เป็นตัวเลขที่ต้องตรวจสอบเร่งด่วนที่สุด เพราะแสดงถึงการพบที่ผู้ป่วยอาจถูกนำไปสู่การดูแลที่เร่งด่วนน้อยกว่าที่ต้องการจริง อัตราการคัดกรองสูงกว่าจริง 5% เป็นเรื่องความจุและต้นทุน แต่ไม่ใช่ปัญหาความปลอดภัยโดยตรง

แหล่งข้อมูลและข้อควรระวัง

มาตรฐานอ้างอิงที่ใช้วัดความแม่นยำของการคัดกรองมีความสำคัญอย่างยิ่ง การทบทวนโดยแพทย์คนเดียวนำความแปรผันของดุลยพินิจของแพทย์คนนั้นเข้ามา ดังนั้นตัวเลขความแม่นยำที่น่าเชื่อถือมักต้องมีผู้ทบทวนอิสระหลายคนพร้อมความสอดคล้องระหว่างผู้ประเมินที่มีเอกสาร หรือการเปรียบเทียบกับผลลัพธ์ทางคลินิกที่ได้รับการยืนยันในภายหลัง (การดูแลที่ผู้ป่วยต้องการจริง ซึ่งระบุได้ภายหลัง) การสุ่มตัวอย่างก็สำคัญเช่นกัน การทบทวนเฉพาะตัวอย่างที่สะดวกของการพบ หรือเฉพาะกรณีที่ถูกระบุว่าผิดปกติ จะไม่ให้ตัวเลขที่สรุปไปถึงประสิทธิภาพโดยรวมของเครื่องมือได้ ควรรายงานตัวเลขความแม่นยำแยกตามหมวดอาการหรือข้อร้องเรียนที่นำเสนอ เมื่อปริมาณกรณีพื้นฐานเอื้ออำนวย เพราะเครื่องมือคัดกรองแทบไม่ทำงานเท่ากันในทุกภาวะ

ข้อผิดพลาดที่พบบ่อย

• รายงานตัวเลขความแม่นยำรวมเดียว: การยุบการคัดกรองต่ำกว่าจริงและสูงกว่าจริงเป็นตัวเลขเดียวซ่อนว่าข้อผิดพลาดของเครื่องมือเอนไปทางรูปแบบความล้มเหลวที่อันตรายกว่าหรือไม่ ควรรายงานแยกกันเสมอ
• ใช้ผู้ทบทวนคนเดียวที่ไม่ได้ปกปิดเป็นมาตรฐานอ้างอิง: อาจทำให้ตัวเลขความแม่นยำเอนเอียงไปทางสิ่งที่ผู้ทบทวนคนนั้นจะทำเองอย่างเงียบ ๆ แทนที่จะเป็นมาตรฐานทางคลินิกที่เป็นอิสระ
• ตรวจสอบความถูกต้องเฉพาะกับข้อมูลย้อนหลังที่สะดวก: ความแม่นยำการส่งต่อในโลกจริงของเครื่องมือภายใต้ข้อมูลผู้ป่วยสดที่คลุมเครือมักแตกต่างอย่างมากจากความแม่นยำบนชุดตรวจสอบที่คัดสรรไว้ซึ่งรวบรวมระหว่างการพัฒนา
• เพิกเฉยต่อการเลื่อนของประสิทธิภาพหลังนำไปใช้: ความแม่นยำของโมเดลคัดกรอง AI อาจลดลงตามเวลาเมื่อประชากรผู้ป่วย อาการที่นำเสนอ หรือความพร้อมของเส้นทางการดูแลเปลี่ยนไป ควรวัดความแม่นยำซ้ำเป็นระยะ ไม่ใช่ตรวจสอบครั้งเดียวแล้วสันนิษฐานว่าคงที่

แหล่งอ้างอิง

• ONC / HealthIT.gov แนวทางความปลอดภัยและการประกันคุณภาพของระบบสนับสนุนการตัดสินใจทางคลินิกและเครื่องมือที่ใช้ AI
• วรรณกรรมที่ผ่านการทบทวนโดยผู้ทรงคุณวุฒิเกี่ยวกับความแม่นยำของเครื่องมือตรวจอาการและเครื่องมือคัดกรอง AI เช่น การศึกษาที่ตีพิมพ์ใน JAMIA, npj Digital Medicine และ BMJ Health & Care Informatics
• NHS England แนวทางความปลอดภัยทางคลินิกของเครื่องมือคัดกรองดิจิทัลและการปรึกษาจากระยะไกล (มาตรฐานการจัดการความเสี่ยงทางคลินิก DCB0129/DCB0160)

ดูเพิ่มเติม: เวลาดำเนินการส่งต่อผู้ป่วยทางดิจิทัล ตัวชี้วัดกระบวนการที่อยู่ปลายน้ำโดยตรงที่สุดของการตัดสินใจคัดกรอง