TRACES เบนช์มาร์กใหม่ของ Apodex วัดกระบวนการค้นพบของ AI

เมื่อคำตอบที่ดูถูกต้องอาจเป็นแค่การเดาถูก

เบนช์มาร์ก AI แบบเดิมมักกำหนดโจทย์ ข้อมูล และคำตอบที่ถูกต้องไว้ล่วงหน้า จากนั้นจึงตรวจว่าระบบให้คำตอบตรงกับเฉลยหรือไม่ แต่ Apodex กำลังเสนอวิธีวัดอีกแบบผ่าน TRACES ซึ่งนำระบบ AI แบบครบชุด หรือที่เรียกว่า “heavy-duty solver” เข้าไปทำงานในสภาพแวดล้อมที่รันได้จริงและมีสถานะต่อเนื่อง เพื่อดูว่าระบบสืบสวนปัญหาวิทยาศาสตร์ปลายเปิดอย่างไร

AI ในการทดสอบสามารถสังเกตสภาพแวดล้อม ลงมือทำงาน เรียกใช้เครื่องมือ รับฟีดแบ็กคล้ายผลการทดลองหรือการตรวจสอบ และกลับไปแก้แนวทางที่ล้มเหลวได้ ข้อสรุปบางอย่างอาจเป็นเรื่องที่วงการยังไม่มีคำตอบยุติแล้วด้วยซ้ำ

ประเด็นสำคัญคือ คำตอบที่ฟังดูสมเหตุสมผลอาจเกิดจากการเดาถูก หลักฐานไม่เพียงพอ หรือไม่สามารถทำซ้ำได้ TRACES จึงพยายามประเมินทั้ง “ผลลัพธ์” และ “กระบวนการสืบค้น” ที่นำไปสู่ผลลัพธ์นั้น

TRACES ต้องการวัดอะไร

TRACES เป็นส่วนหนึ่งของกรอบงาน Apodex Discovery ซึ่งพัฒนาแนวคิดที่ Apodex เรียกว่า “discoverative AI” หรือ AI ที่มุ่งไปสู่ข้อสรุปใหม่ที่อาจยังไม่เคยมีใครค้นพบ แทนที่จะเพียงค้นคืนหรือเรียบเรียงข้อมูลที่มีอยู่แล้ว

เพื่อทำให้การค้นพบแบบปลายเปิดสามารถทดสอบได้ กรอบงานนี้ใช้สภาพแวดล้อมที่สั่งให้ทำงานได้เป็นโปรแกรม แบ่งการประเมินเป็นช่วงการทำงานและภารกิจ พร้อมตัวตรวจสอบที่ซ่อนอยู่ หรือ hidden verifiers

สิ่งที่ถูกประเมินจึงไม่ใช่เพียงโมเดลพื้นฐาน แต่เป็นระบบโซลเวอร์ทั้งชุด ซึ่งรวมถึงโมเดล ชั้นประสานงานหรือฮาร์เนส เครื่องมือ ระบบความจำ และนโยบายควบคุมที่ใช้ดำเนินการสืบสวน

ต่างจากการสอบแบบมีเฉลยอย่างไร

ในการทดสอบทั่วไป โจทย์และคำตอบมักถูกกำหนดไว้ก่อน แต่ TRACES เริ่มจากเป้าหมายในโลกจริงที่ต้องถูกแปลงให้เป็นการสืบค้นที่ทำได้จริง จากนั้นโซลเวอร์จะโต้ตอบกับสภาพแวดล้อม เลือกการกระทำ เรียกใช้เครื่องมือทางวิทยาศาสตร์หรือคอมพิวเตอร์ และรับข้อมูลย้อนกลับ

วงจรการประเมินจึงมีลักษณะใกล้เคียงกับงานวิจัยมากกว่าเดิม:

1. ตั้งหรือปรับสมมติฐาน
2. เลือกการกระทำหรือเรียกใช้เครื่องมือ
3. สังเกตหลักฐานและฟีดแบ็กที่ได้
4. ระบุข้อผิดพลาดหรือจุดอ่อนของแนวทาง
5. แก้ไขวิธีการและทดสอบทางเลือกอื่น
6. สรุปผลให้สอดคล้องกับน้ำหนักและข้อจำกัดของหลักฐาน

TRACES บันทึกเส้นทางการสืบสวนทั้งหมด ไม่ได้ดูเพียงว่าข้อความสุดท้ายคล้ายคำตอบอ้างอิงหรือไม่ วิธีนี้มีความสำคัญเป็นพิเศษเมื่อคำถามทางวิทยาศาสตร์ยังไม่มีคำตอบมาตรฐานให้ใช้เป็น ground truth

6 ความสามารถที่ชื่อ TRACES สะท้อน

ตัวอักษรในชื่อ TRACES สอดคล้องกับมิติการตรวจสอบกระบวนการ 6 ด้าน ซึ่งบางแหล่งเรียกรวมว่า HDS6 ได้แก่:

• T — Tools (เครื่องมือ): โซลเวอร์เลือก ใช้ และตีความผลจากเครื่องมือภายนอกหรือเครื่องมือทางวิทยาศาสตร์ได้ถูกต้องหรือไม่
• R — Repair (การซ่อมแซม): ระบบค้นหาความล้มเหลวและปรับแก้งานหลังได้รับฟีดแบ็กได้หรือไม่
• A — Alternatives (ทางเลือก): ระบบพิจารณาสมมติฐานที่แข่งขันกัน และเลือกตัดทิ้งหรือปรับปรุงแต่ละแนวทางด้วยเหตุผลที่อิงหลักฐานหรือไม่
• C — Coherence (ความสอดคล้อง): เหตุผลตลอดการสืบสวนมีความต่อเนื่อง เชื่อมโยง และไม่ขัดแย้งกันหรือไม่
• E — Evidence (หลักฐาน): ข้อกล่าวอ้างตั้งอยู่บนการสังเกต ผลจากเครื่องมือ และผลการทดลองหรือไม่
• S — Scope (ขอบเขต): ระบบจำกัดข้อสรุปไว้เท่าที่หลักฐานรองรับ ไม่กล่าวอ้างเกินกว่าที่รู้หรือไม่

ทั้ง 6 ด้านมีเป้าหมายเพื่อแยก “การสืบสวนที่น่าเชื่อถือ” ออกจากคำตอบที่มั่นใจแต่ไร้หลักฐานรองรับ และเปิดทางให้ผู้ประเมินตรวจคุณภาพของกระบวนการได้ แม้ยังไม่มีคำตอบสุดท้ายที่ยืนยันแน่นอน

จุดเริ่มต้นและขนาดของการเปิดตัว

กรอบงาน Apodex Discovery ระบุว่า การประเมินการค้นพบแบบปลายเปิดต้องมีองค์ประกอบสำคัญหลายด้าน ได้แก่ ปัญหาที่กำหนดรูปแบบอย่างเหมาะสม สภาพแวดล้อมที่อิงโลกจริง กลไกตรวจสอบ และวงจรที่เปิดให้ระบบแก้ไขงานของตัวเอง TRACES คือการนำแนวทางดังกล่าวมาสร้างเป็นเบนช์มาร์ก

Apodex ระบุว่าได้สำรวจ 561 อุตสาหกรรมใน 16 ภาคส่วน และรวบรวมปัญหาในโลกจริงที่มีมูลค่าสูง 423 ปัญหา ก่อนคัดเลือก 20 ปัญหา สำหรับการประเมินแบบรันได้ในรุ่นเริ่มต้น

ตัวอย่างขอบเขตปัญหาที่มีการระบุไว้ ได้แก่:

• การออกแบบแคปซิดของ AAV ซึ่งเป็นพาหะไวรัสที่ใช้ในงานส่งสารพันธุกรรม
• การวิเคราะห์การทดลองทางคลินิก
• การนำยากลับมาใช้ใหม่และการปรับสูตรยา
• การฝึกและระบบของ LLM หรือโมเดลภาษาขนาดใหญ่

อย่างไรก็ตาม ข้อมูลที่มีอยู่ไม่ได้ยืนยันรายการภารกิจสาธารณะทั้งหมดหรือขอบเขตทุกสาขาที่อยู่ในรุ่นเปิดตัว จึงยังไม่ควรสรุปเกินกว่าตัวอย่างเหล่านี้

เหตุใดการวัดกระบวนการจึงสำคัญต่อ AI อัตโนมัติ

ปัจจุบันมีการนำเสนอให้ AI ช่วยตั้งสมมติฐาน เลือกทิศทางการวิจัย วิเคราะห์ผลการทดลอง และออกแบบกระบวนการทำงานที่ต้องวนซ้ำหลายรอบ ในบริบทเช่นนี้ ความสามารถในการเขียนคำตอบอย่างลื่นไหลยังไม่เพียงพอ ระบบต้องรู้ด้วยว่าควรทดสอบอะไร ตีความผลที่เกิดขึ้นอย่างไร ฟื้นตัวจากข้อผิดพลาดได้หรือไม่ และควรหยุดการกล่าวอ้างไว้ตรงไหน

TRACES จึงมองงานวิทยาศาสตร์เป็นกระบวนการโต้ตอบต่อเนื่อง ไม่ใช่คำตอบครั้งเดียว ระบบที่ได้ผลลัพธ์ผ่านหลักฐานที่ตรวจสอบย้อนกลับได้และการปรับแก้ที่เหมาะสม ย่อมแตกต่างจากระบบที่บังเอิญให้ข้อสรุปเดียวกัน แต่ไม่สามารถแสดงเส้นทางที่น่าเชื่อถือได้

ถึงอย่างนั้น TRACES ไม่ได้ทำให้มนุษย์หมดความจำเป็น นักวิจัยและผู้เชี่ยวชาญเฉพาะด้านยังต้องกำหนดเป้าหมายและข้อจำกัด ประเมินความเสี่ยงด้านจริยธรรมและการใช้งานจริง ตรวจสอบสมมติฐานกับหลักฐาน และตัดสินใจว่าข้อสรุปนั้นหนักแน่นพอสำหรับการนำไปใช้ในโลกจริงหรือไม่

จุดแข็งของการเน้นเส้นทางการทำงานที่ตรวจสอบได้และข้อกล่าวอ้างที่มีขอบเขต คือผู้ประเมินมีข้อมูลให้ตรวจมากกว่าคำยืนยันสุดท้ายที่แยกออกจากบริบท

ใครเข้าร่วมได้บ้าง

ประกาศสาธารณะของ Apodex ระบุว่าเปิดรับทั้ง ระบบโซลเวอร์ และ โจทย์ปัญหาวิทยาศาสตร์

การส่งโซลเวอร์หมายถึงการส่งระบบเต็มรูปแบบที่ใช้ทำการสืบสวน ไม่ใช่เฉพาะโมเดลพื้นฐาน โดยอาจรวมถึงฮาร์เนสหรือชั้นประสานงาน เครื่องมือ ระบบความจำ และนโยบายควบคุม

ส่วนการเสนอปัญหาจะต้องแปลงให้อยู่ในรูปสภาพแวดล้อมที่รันและตรวจสอบได้ ในทางปฏิบัติ ผู้เสนอจำเป็นต้องระบุว่าระบบสังเกตและทำอะไรได้บ้าง ได้รับฟีดแบ็กแบบใด และจะตรวจสอบข้อกล่าวอ้างระหว่างทางหรือข้อสรุปสุดท้ายด้วยเกณฑ์ความสำเร็จที่ชัดเจนอย่างไร

สรุป: จาก “ตอบถูกไหม” สู่ “สืบสวนเป็นหรือไม่”

TRACES เปลี่ยนคำถามหลักของเบนช์มาร์ก AI จาก “AI ให้คำตอบที่คาดไว้หรือไม่” เป็น “AI ดำเนินการสืบสวนอย่างมีวินัยและยึดหลักฐานหรือไม่” จึงเหมาะกับการประเมิน AI ที่มีเป้าหมายค้นพบสิ่งใหม่มากกว่าการทดสอบแบบชุดข้อมูลและเฉลยตายตัว

แต่การให้คะแนนกระบวนการก็ไม่ได้พิสูจน์ด้วยตัวเองว่าการค้นพบจาก AI ปลอดภัย มีประโยชน์ หรือพร้อมนำไปใช้งานจริง การตัดสินใจทางวิทยาศาสตร์ยังต้องอาศัยวิจารณญาณของมนุษย์ การตรวจสอบซ้ำ และการประเมินความเสี่ยงในโลกจริง