ความเสี่ยงไม่ได้จบที่ความแม่นยำของโมเดล

งานทบทวนจัดกลุ่มความเสี่ยงของ AI ทางคลินิกตั้งแต่การออกแบบไปจนถึงการใช้งานจริง ดังนี้

• การออกแบบและข้อมูลฝึก: ข้อมูลที่ถูกปนเปื้อนหรือจงใจบิดเบือนอาจเปลี่ยนพฤติกรรมของระบบตั้งแต่ก่อนนำไปใช้ในสถานพยาบาล
• การติดตั้งและส่วนติดต่อผู้ใช้: การโจมตีแบบ prompt injection สามารถแทรกคำสั่งอันตรายเข้าไปในขั้นตอนการทำงาน ตัวอย่างที่บทความยกขึ้นมาคือ การโจมตีอาจทำให้โมเดลมองข้ามก้อนเนื้อที่เห็นได้ชัดในภาพทางการแพทย์ นอกจากนี้ โครงสร้างพื้นฐานไอทีของโรงพยาบาลที่มีช่องโหว่อาจทำให้การรักษาสะดุดหรือทำให้ข้อมูลผู้ป่วยรั่วไหล
• พฤติกรรมของโมเดล: LLM อาจสร้างข้อมูลทางการแพทย์ที่ฟังดูน่าเชื่อถือแต่ไม่เป็นความจริง ซึ่งมักเรียกว่า “ภาพหลอน” หรือ hallucination และอาจเห็นด้วยกับสมมติฐานของผู้ใช้มากเกินไป จนช่วยตอกย้ำข้อสรุปที่ผิดแทนที่จะทักท้วง
• ปฏิสัมพันธ์ระหว่างคนกับ AI: คำตอบที่โน้มน้าวใจอาจทำให้เกิด อคติจากระบบอัตโนมัติ (automation bias) คือบุคลากรเชื่อหรือทำตามระบบมากเกินไป และ อคติยืนยันความเชื่อเดิม (confirmation bias) คือใช้ AI เพื่อสนับสนุนข้อสรุปที่ตนเองเชื่ออยู่แล้ว
• การใช้งานในระดับองค์กร: บุคลากรอาจหันไปใช้เครื่องมือสาธารณะหรือระบบที่ยังไม่ได้รับอนุมัติโดยไม่ผ่านกระบวนการอย่างเป็นทางการ การใช้งานลักษณะนี้เรียกว่า “การใช้ AI แบบเงา” (shadow use) ซึ่งอาจหลีกเลี่ยงมาตรการคุ้มครองข้อมูล การประเมินในพื้นที่จริง ความรับผิดชอบ และระบบรายงานเหตุการณ์

มุมมองแบบตลอดวงจรชีวิตมีความสำคัญ เพราะระบบที่ทำผลงานได้ดีในการทดสอบแบบควบคุม อาจยังไม่ปลอดภัยเมื่อเข้าสู่การใช้งานจริง ผลลัพธ์สุดท้ายอาจเปลี่ยนไปตามความมั่นคงปลอดภัย พฤติกรรมมนุษย์บริบททางคลินิก และมาตรการควบคุมขององค์กร

ต้องกำกับดูแลอย่างไรเมื่อระบบเริ่มใช้งานแล้ว

งานทบทวนเรียกร้องให้มีมาตรการความปลอดภัยที่ทำงานต่อเนื่องหลังระบบเปิดใช้งาน ซึ่งรวมถึงการพัฒนาที่ปลอดภัย การกำกับดูแลข้อมูลฝึกอย่างรอบคอบ การทดสอบในบริบททางคลินิกจริงของแต่ละองค์กร การกำหนดหน้าที่ของมนุษย์ให้ชัดเจน และการติดตามประสิทธิภาพกับเหตุการณ์ผิดปกติอย่างต่อเนื่อง

ในทางปฏิบัติ โรงพยาบาลและระบบบริการสุขภาพไม่ควรถามเพียงว่าเครื่องมือสร้างข้อความที่ฟังดูสมเหตุสมผลได้หรือไม่ แต่ควรกำหนดให้ชัดเจนด้วยว่า

• ใครมีสิทธิ์ใช้ระบบ และใช้กับงานประเภทใดได้บ้าง
• ระบบเข้าถึงข้อมูลใดได้บ้าง และข้อมูลจะถูกส่งหรือจัดเก็บไว้ที่ใด
• บุคลากรต้องตรวจสอบผลลัพธ์ของ AI อย่างไร
• ใครเป็นผู้รับผิดชอบเมื่อเวชระเบียนหรือคำแนะนำที่มี AI ช่วยจัดทำเกิดข้อผิดพลาด
• องค์กรจะสืบสวน หยุดชั่วคราว หรือยกเลิกการใช้ระบบได้อย่างไรเมื่อพบความเสี่ยง

โครงสร้างกำกับดูแลสองระดับที่นักวิจัยเสนอ

เพื่อให้ความรับผิดชอบเหล่านี้เกิดขึ้นจริง ผู้เขียนเสนอการกำกับดูแลสองชั้นที่ทำงานเสริมกัน

ทีมกำกับดูแล AI ภายในองค์กร

สถานพยาบาลควรมีทีมเฉพาะเพื่ออนุมัติเครื่องมือ AI ประเมินระบบในบริบทขององค์กร กำหนดหน้าที่ของผู้เกี่ยวข้อง และติดตามการใช้งาน วิธีนี้ช่วยให้การตัดสินใจสอดคล้องกับผู้ป่วย ขั้นตอนการทำงาน โครงสร้างพื้นฐาน และพันธกรณีทางวิชาชีพของแต่ละแห่ง

ศูนย์ปฏิบัติการความปลอดภัย AI แบบรวมศูนย์

งานทบทวนยังเสนอให้จัดตั้งศูนย์ปฏิบัติการความปลอดภัย AI หรือ AI Security Operations Centers (SOCs) เพื่อค้นหาเหตุการณ์ผิดปกติจากหลายองค์กร แบ่งปันสัญญาณภัยคุกคาม และประสานการรับมือ โมเดลนี้ตั้งอยู่บนข้อเท็จจริงว่า การโจมตีหรือความล้มเหลวในระบบ AI ทางคลินิกแห่งหนึ่งอาจเปิดเผยช่องโหว่ที่ส่งผลต่อสถาบันอื่นด้วย

การกำกับดูแลสองระดับจึงเป็นการผสานความรับผิดชอบต่อผู้ป่วยในระดับท้องถิ่นเข้ากับข้อมูลข่าวกรองด้านความปลอดภัยในวงกว้าง

เหตุใดกฎระเบียบแบบเดิมอาจตามไม่ทัน

กรอบกำกับดูแลอุปกรณ์การแพทย์แบบดั้งเดิมส่วนใหญ่พัฒนาขึ้นสำหรับผลิตภัณฑ์ที่สามารถประเมินเป็นระบบค่อนข้างคงที่ แต่ซอฟต์แวร์ AI ทางคลินิกอาจมีพฤติกรรมและระดับความเสี่ยงเปลี่ยนไปเมื่อมีการอัปเดตโมเดล การกระจายตัวของข้อมูลเปลี่ยน ขั้นตอนการทำงานพัฒนา หรือผู้โจมตีใช้เทคนิคใหม่

จึงเกิดช่องว่างด้านกฎระเบียบขึ้น การอนุมัติหรือการประเมิน ณ จุดใดจุดหนึ่งไม่ได้แปลว่าระบบที่เปลี่ยนแปลงต่อเนื่องจะยังปลอดภัยในทุกบริบทภายหลัง งานวิจัยที่เกี่ยวข้องของนักวิจัยจาก TU Dresden ด้านกฎระเบียบสำหรับ AI ทางการแพทย์ก็เสนอเช่นกันว่า วิทยาศาสตร์ด้านกฎระเบียบจำเป็นต้องก้าวให้ทันเทคโนโลยีที่พัฒนาอย่างรวดเร็ว

สำหรับองค์กร นั่นหมายความว่าการนำระบบไปใช้งานควรเป็นจุดเริ่มต้นของการกำกับดูแล ไม่ใช่จุดสิ้นสุด การตรวจสอบต่อเนื่องควรครอบคลุมประสิทธิภาพ ความปลอดภัย ความมั่นคงปลอดภัยไซเบอร์ ความเป็นส่วนตัว และความเท่าเทียม พร้อมกระบวนการรายงานเหตุการณ์และระงับระบบเมื่อจำเป็น

ความยินยอมของผู้ป่วยก็เป็นส่วนหนึ่งของความปลอดภัยทางเทคนิค

ประเด็นที่งานทบทวนกังวลเห็นได้ชัดจากการใช้ AI scribe หรือเครื่องมือที่ช่วยบันทึกการสนทนาระหว่างการรักษา แนวทางการใช้ AI ทางคลินิกของออสเตรเลียระบุว่า ผู้ป่วยควรได้รับข้อมูลเกี่ยวกับวัตถุประสงค์ ขอบเขต ประโยชน์ ความเสี่ยง และระบบติดตามความปลอดภัยหรือประสิทธิภาพของ AI นอกจากนี้ แพทย์ยังคงเป็นผู้รับผิดชอบต่อการดูแลและเวชระเบียนที่จัดทำโดยมี AI ช่วยเหลือ

แนวทางวิชาชีพสำหรับเวชปฏิบัติทั่วไปในออสเตรเลียยังเน้นว่า แพทย์ควรทำความเข้าใจและทดสอบ AI scribe ขอความยินยอมก่อนใช้ทุกครั้ง ปกป้องข้อมูลที่จัดเก็บ และตรวจสอบให้เวชระเบียนถูกต้อง

รายงานข่าวล่าสุดสะท้อนว่าการขอความยินยอมในสถานพยาบาลของออสเตรเลียมีความแตกต่างกันมาก บางแห่งใช้เพียงป้ายประกาศในห้องรอเป็นการแจ้งผู้ป่วย ขณะที่หน่วยงานกำกับดูแลทางการแพทย์ของประเทศย้ำว่า แพทย์ต้องตรวจสอบผลลัพธ์ทั้งหมดที่ AI สร้างขึ้นเพื่อความถูกต้อง หลักฐานที่มีอยู่ยังไม่สามารถระบุได้ว่าการขอความยินยอมไม่เพียงพอหรือความเข้าใจเทคโนโลยีของบุคลากรไม่เพียงพอเกิดขึ้นแพร่หลายเพียงใดทั่วออสเตรเลีย

อย่างไรก็ตาม กรณีเหล่านี้ตอกย้ำข้อเสนอหลักของงานทบทวนว่า ความโปร่งใส การกำกับดูแลโดยมนุษย์ และความรับผิดชอบขององค์กรเป็นกลไกควบคุมความปลอดภัยที่ต้องทำงานจริง ไม่ใช่รายละเอียดทางธุรการที่ค่อยเติมภายหลัง

บทเรียนสำหรับองค์กรด้านสุขภาพ

สารของงานทบทวนไม่ใช่การปฏิเสธ AI ทางคลินิก แต่เป็นการเสนอ “มาตรฐานก่อนนำไปใช้” LLM อาจช่วยปรับปรุงกระบวนการทำงานได้อย่างมีคุณค่า ทว่าองค์กรต้องมองระบบเหล่านี้เป็นระบบสังคม-เทคนิคที่เปลี่ยนแปลงอยู่เสมอ ไม่ใช่ซอฟต์แวร์ทั่วไปที่ติดตั้งแล้วจบ

ก่อนและหลังการใช้งาน ผู้บริหารด้านสุขภาพควรเตรียมพร้อมประเมินโมเดล ปกป้องโครงสร้างพื้นฐานโดยรอบ อบรมผู้ใช้ อธิบายบทบาทของ AI ให้ผู้ป่วยเข้าใจ ติดตามประสิทธิภาพในโลกจริง และกำหนดผู้มีอำนาจเข้าแทรกแซงเมื่อระบบทำงานผิดพลาด หากยังไม่มีมาตรการเหล่านี้ การนำ AI ทางคลินิกไปใช้ก็มีแนวโน้มเดินหน้าต่อเร็วกว่าการกำกับดูแลที่จำเป็นต่อความน่าเชื่อถือ

ความเสี่ยงไม่ได้จบที่ความแม่นยำของโมเดล

งานทบทวนจัดกลุ่มความเสี่ยงของ AI ทางคลินิกตั้งแต่การออกแบบไปจนถึงการใช้งานจริง ดังนี้

• การออกแบบและข้อมูลฝึก: ข้อมูลที่ถูกปนเปื้อนหรือจงใจบิดเบือนอาจเปลี่ยนพฤติกรรมของระบบตั้งแต่ก่อนนำไปใช้ในสถานพยาบาล
• การติดตั้งและส่วนติดต่อผู้ใช้: การโจมตีแบบ prompt injection สามารถแทรกคำสั่งอันตรายเข้าไปในขั้นตอนการทำงาน ตัวอย่างที่บทความยกขึ้นมาคือ การโจมตีอาจทำให้โมเดลมองข้ามก้อนเนื้อที่เห็นได้ชัดในภาพทางการแพทย์ นอกจากนี้ โครงสร้างพื้นฐานไอทีของโรงพยาบาลที่มีช่องโหว่อาจทำให้การรักษาสะดุดหรือทำให้ข้อมูลผู้ป่วยรั่วไหล
• พฤติกรรมของโมเดล: LLM อาจสร้างข้อมูลทางการแพทย์ที่ฟังดูน่าเชื่อถือแต่ไม่เป็นความจริง ซึ่งมักเรียกว่า “ภาพหลอน” หรือ hallucination และอาจเห็นด้วยกับสมมติฐานของผู้ใช้มากเกินไป จนช่วยตอกย้ำข้อสรุปที่ผิดแทนที่จะทักท้วง
• ปฏิสัมพันธ์ระหว่างคนกับ AI: คำตอบที่โน้มน้าวใจอาจทำให้เกิด อคติจากระบบอัตโนมัติ (automation bias) คือบุคลากรเชื่อหรือทำตามระบบมากเกินไป และ อคติยืนยันความเชื่อเดิม (confirmation bias) คือใช้ AI เพื่อสนับสนุนข้อสรุปที่ตนเองเชื่ออยู่แล้ว
• การใช้งานในระดับองค์กร: บุคลากรอาจหันไปใช้เครื่องมือสาธารณะหรือระบบที่ยังไม่ได้รับอนุมัติโดยไม่ผ่านกระบวนการอย่างเป็นทางการ การใช้งานลักษณะนี้เรียกว่า “การใช้ AI แบบเงา” (shadow use) ซึ่งอาจหลีกเลี่ยงมาตรการคุ้มครองข้อมูล การประเมินในพื้นที่จริง ความรับผิดชอบ และระบบรายงานเหตุการณ์

มุมมองแบบตลอดวงจรชีวิตมีความสำคัญ เพราะระบบที่ทำผลงานได้ดีในการทดสอบแบบควบคุม อาจยังไม่ปลอดภัยเมื่อเข้าสู่การใช้งานจริง ผลลัพธ์สุดท้ายอาจเปลี่ยนไปตามความมั่นคงปลอดภัย พฤติกรรมมนุษย์บริบททางคลินิก และมาตรการควบคุมขององค์กร

ต้องกำกับดูแลอย่างไรเมื่อระบบเริ่มใช้งานแล้ว

งานทบทวนเรียกร้องให้มีมาตรการความปลอดภัยที่ทำงานต่อเนื่องหลังระบบเปิดใช้งาน ซึ่งรวมถึงการพัฒนาที่ปลอดภัย การกำกับดูแลข้อมูลฝึกอย่างรอบคอบ การทดสอบในบริบททางคลินิกจริงของแต่ละองค์กร การกำหนดหน้าที่ของมนุษย์ให้ชัดเจน และการติดตามประสิทธิภาพกับเหตุการณ์ผิดปกติอย่างต่อเนื่อง

ในทางปฏิบัติ โรงพยาบาลและระบบบริการสุขภาพไม่ควรถามเพียงว่าเครื่องมือสร้างข้อความที่ฟังดูสมเหตุสมผลได้หรือไม่ แต่ควรกำหนดให้ชัดเจนด้วยว่า

• ใครมีสิทธิ์ใช้ระบบ และใช้กับงานประเภทใดได้บ้าง
• ระบบเข้าถึงข้อมูลใดได้บ้าง และข้อมูลจะถูกส่งหรือจัดเก็บไว้ที่ใด
• บุคลากรต้องตรวจสอบผลลัพธ์ของ AI อย่างไร
• ใครเป็นผู้รับผิดชอบเมื่อเวชระเบียนหรือคำแนะนำที่มี AI ช่วยจัดทำเกิดข้อผิดพลาด
• องค์กรจะสืบสวน หยุดชั่วคราว หรือยกเลิกการใช้ระบบได้อย่างไรเมื่อพบความเสี่ยง

โครงสร้างกำกับดูแลสองระดับที่นักวิจัยเสนอ

เพื่อให้ความรับผิดชอบเหล่านี้เกิดขึ้นจริง ผู้เขียนเสนอการกำกับดูแลสองชั้นที่ทำงานเสริมกัน

ทีมกำกับดูแล AI ภายในองค์กร

สถานพยาบาลควรมีทีมเฉพาะเพื่ออนุมัติเครื่องมือ AI ประเมินระบบในบริบทขององค์กร กำหนดหน้าที่ของผู้เกี่ยวข้อง และติดตามการใช้งาน วิธีนี้ช่วยให้การตัดสินใจสอดคล้องกับผู้ป่วย ขั้นตอนการทำงาน โครงสร้างพื้นฐาน และพันธกรณีทางวิชาชีพของแต่ละแห่ง

ศูนย์ปฏิบัติการความปลอดภัย AI แบบรวมศูนย์

งานทบทวนยังเสนอให้จัดตั้งศูนย์ปฏิบัติการความปลอดภัย AI หรือ AI Security Operations Centers (SOCs) เพื่อค้นหาเหตุการณ์ผิดปกติจากหลายองค์กร แบ่งปันสัญญาณภัยคุกคาม และประสานการรับมือ โมเดลนี้ตั้งอยู่บนข้อเท็จจริงว่า การโจมตีหรือความล้มเหลวในระบบ AI ทางคลินิกแห่งหนึ่งอาจเปิดเผยช่องโหว่ที่ส่งผลต่อสถาบันอื่นด้วย

การกำกับดูแลสองระดับจึงเป็นการผสานความรับผิดชอบต่อผู้ป่วยในระดับท้องถิ่นเข้ากับข้อมูลข่าวกรองด้านความปลอดภัยในวงกว้าง

เหตุใดกฎระเบียบแบบเดิมอาจตามไม่ทัน

กรอบกำกับดูแลอุปกรณ์การแพทย์แบบดั้งเดิมส่วนใหญ่พัฒนาขึ้นสำหรับผลิตภัณฑ์ที่สามารถประเมินเป็นระบบค่อนข้างคงที่ แต่ซอฟต์แวร์ AI ทางคลินิกอาจมีพฤติกรรมและระดับความเสี่ยงเปลี่ยนไปเมื่อมีการอัปเดตโมเดล การกระจายตัวของข้อมูลเปลี่ยน ขั้นตอนการทำงานพัฒนา หรือผู้โจมตีใช้เทคนิคใหม่

จึงเกิดช่องว่างด้านกฎระเบียบขึ้น การอนุมัติหรือการประเมิน ณ จุดใดจุดหนึ่งไม่ได้แปลว่าระบบที่เปลี่ยนแปลงต่อเนื่องจะยังปลอดภัยในทุกบริบทภายหลัง งานวิจัยที่เกี่ยวข้องของนักวิจัยจาก TU Dresden ด้านกฎระเบียบสำหรับ AI ทางการแพทย์ก็เสนอเช่นกันว่า วิทยาศาสตร์ด้านกฎระเบียบจำเป็นต้องก้าวให้ทันเทคโนโลยีที่พัฒนาอย่างรวดเร็ว

สำหรับองค์กร นั่นหมายความว่าการนำระบบไปใช้งานควรเป็นจุดเริ่มต้นของการกำกับดูแล ไม่ใช่จุดสิ้นสุด การตรวจสอบต่อเนื่องควรครอบคลุมประสิทธิภาพ ความปลอดภัย ความมั่นคงปลอดภัยไซเบอร์ ความเป็นส่วนตัว และความเท่าเทียม พร้อมกระบวนการรายงานเหตุการณ์และระงับระบบเมื่อจำเป็น

ความยินยอมของผู้ป่วยก็เป็นส่วนหนึ่งของความปลอดภัยทางเทคนิค

ประเด็นที่งานทบทวนกังวลเห็นได้ชัดจากการใช้ AI scribe หรือเครื่องมือที่ช่วยบันทึกการสนทนาระหว่างการรักษา แนวทางการใช้ AI ทางคลินิกของออสเตรเลียระบุว่า ผู้ป่วยควรได้รับข้อมูลเกี่ยวกับวัตถุประสงค์ ขอบเขต ประโยชน์ ความเสี่ยง และระบบติดตามความปลอดภัยหรือประสิทธิภาพของ AI นอกจากนี้ แพทย์ยังคงเป็นผู้รับผิดชอบต่อการดูแลและเวชระเบียนที่จัดทำโดยมี AI ช่วยเหลือ

แนวทางวิชาชีพสำหรับเวชปฏิบัติทั่วไปในออสเตรเลียยังเน้นว่า แพทย์ควรทำความเข้าใจและทดสอบ AI scribe ขอความยินยอมก่อนใช้ทุกครั้ง ปกป้องข้อมูลที่จัดเก็บ และตรวจสอบให้เวชระเบียนถูกต้อง

รายงานข่าวล่าสุดสะท้อนว่าการขอความยินยอมในสถานพยาบาลของออสเตรเลียมีความแตกต่างกันมาก บางแห่งใช้เพียงป้ายประกาศในห้องรอเป็นการแจ้งผู้ป่วย ขณะที่หน่วยงานกำกับดูแลทางการแพทย์ของประเทศย้ำว่า แพทย์ต้องตรวจสอบผลลัพธ์ทั้งหมดที่ AI สร้างขึ้นเพื่อความถูกต้อง หลักฐานที่มีอยู่ยังไม่สามารถระบุได้ว่าการขอความยินยอมไม่เพียงพอหรือความเข้าใจเทคโนโลยีของบุคลากรไม่เพียงพอเกิดขึ้นแพร่หลายเพียงใดทั่วออสเตรเลีย

อย่างไรก็ตาม กรณีเหล่านี้ตอกย้ำข้อเสนอหลักของงานทบทวนว่า ความโปร่งใส การกำกับดูแลโดยมนุษย์ และความรับผิดชอบขององค์กรเป็นกลไกควบคุมความปลอดภัยที่ต้องทำงานจริง ไม่ใช่รายละเอียดทางธุรการที่ค่อยเติมภายหลัง

บทเรียนสำหรับองค์กรด้านสุขภาพ

สารของงานทบทวนไม่ใช่การปฏิเสธ AI ทางคลินิก แต่เป็นการเสนอ “มาตรฐานก่อนนำไปใช้” LLM อาจช่วยปรับปรุงกระบวนการทำงานได้อย่างมีคุณค่า ทว่าองค์กรต้องมองระบบเหล่านี้เป็นระบบสังคม-เทคนิคที่เปลี่ยนแปลงอยู่เสมอ ไม่ใช่ซอฟต์แวร์ทั่วไปที่ติดตั้งแล้วจบ

ก่อนและหลังการใช้งาน ผู้บริหารด้านสุขภาพควรเตรียมพร้อมประเมินโมเดล ปกป้องโครงสร้างพื้นฐานโดยรอบ อบรมผู้ใช้ อธิบายบทบาทของ AI ให้ผู้ป่วยเข้าใจ ติดตามประสิทธิภาพในโลกจริง และกำหนดผู้มีอำนาจเข้าแทรกแซงเมื่อระบบทำงานผิดพลาด หากยังไม่มีมาตรการเหล่านี้ การนำ AI ทางคลินิกไปใช้ก็มีแนวโน้มเดินหน้าต่อเร็วกว่าการกำกับดูแลที่จำเป็นต่อความน่าเชื่อถือ