BootLoops 1.0 ทำให้ AI ช่วยคำนวณทางวิทยาศาสตร์ได้อย่างไร—and ทำไมมนุษย์ยังสำคัญ

BootLoops 1.0 คือชุดเครื่องมือโอเพนซอร์สที่ช่วยให้โมเดลภาษาทำการคำนวณเชิงวิทยาศาสตร์อย่างเป็นระบบ พร้อมกำหนดวิธีทดสอบผลลัพธ์ไว้ในกระบวนการพัฒนาโดย Matthew Schwartz นักฟิสิกส์จากมหาวิทยาลัยฮาร์วาร์ดร่วมกับ Claude อย่างไรก็ตาม ตัวเครื่องมือไม่ได้ผูกกับโมเดลใดโมเดลหนึ่ง และเป้าหมายก็ไม่ใช่ทำให้ทุกคำตอบจาก AI ถูกต้องโดยอัตโนมัติ แต่ช่วยให้ผลคำนวณบางประเภทตรวจสอบได้ชัดขึ้น 112

วางเกณฑ์ตรวจสอบไว้ในขั้นตอนทำงาน

BootLoops รวมซอฟต์แวร์ทางวิทยาศาสตร์เข้ากับแนวปฏิบัติที่ระบุว่า ผลลัพธ์ต้องผ่านการตรวจแบบใดจึงจะถือว่าทำงานเสร็จ ตัวอย่างเช่น เปรียบเทียบกับวิธีคำนวณอีกเส้นทางหนึ่ง ณ จุดที่ไม่ได้ใช้ปรับให้เข้ากับคำตอบ และใช้ “การควบคุมเชิงบวก” เพื่อแสดงว่าการทดสอบนั้นจับผลที่ผิดพลาดได้จริง แนวทางยังให้บันทึกที่มาของข้อมูลและเครื่องมือ เพื่อไม่ให้วิธีคำนวณที่ช่วยสร้างคำตอบกลายเป็นผู้รับรองคำตอบเดียวกันเสียเอง 211

วิธีนี้เหมาะกับโจทย์ที่กำหนดผลลัพธ์และวิธีตรวจได้ค่อนข้างชัด เช่น การคำนวณในฟิสิกส์คณิตศาสตร์ ผลที่ผ่านการทดสอบจึงเป็นหลักฐานว่าได้ผ่านเกณฑ์ที่กำหนด แต่ไม่ได้ยืนยันว่าทุกคำกล่าวอ้างของโมเดลถูกต้อง หรือว่าโจทย์วิจัยนั้นสำคัญเสมอไป 25

ผลงานที่รายงานจากการใช้ Claude

ทีมของ Schwartz รายงานการคำนวณอินทิกรัลในฟิสิกส์คณิตศาสตร์ 30 รายการ โดยระบุว่า 15 รายการเป็นผลใหม่ รวมถึงอินทิกรัลไฟน์แมนชนิด elliptic นอกจากนี้ยังมีคำตอบของสิ่งที่ Schwartz เรียกว่า “ปัญหาสุดท้าย” ของ Watson ซึ่งเกี่ยวข้องกับงานคำนวณที่นักคณิตศาสตร์ George Watson เริ่มไว้ก่อนหน้านี้ 14164

ภาพรวมของความพยายามในช่วงสามเดือนมีรายงานว่าก่อให้เกิดต้นฉบับงานวิจัย 36 ชิ้น โดยมีผู้ร่วมเขียน 19 คน ครอบคลุม 18 สาขา ตั้งแต่นิเวศวิทยาไปจนถึงพันธุศาสตร์ประชากร อย่างไรก็ดี จำนวนต้นฉบับเหล่านี้ไม่ใช่หลักฐานว่าผลทุกชิ้นผ่านการตรวจสอบอิสระครบแล้ว Schwartz ระบุว่ายังมีหลายผลลัพธ์ที่อยู่ระหว่างการตรวจ 3154

AI คำนวณได้ แต่ไม่ได้เลือกสิ่งที่ควรคำนวณเองเสมอไป

Schwartz ใช้คำว่า “ความไม่เข้าคู่ของอิมพีแดนซ์” (impedance mismatch) อธิบายช่องว่างระหว่างสิ่งที่นักวิทยาศาสตร์ต้องการกับสิ่งที่โมเดลภาษาทำได้ดี โมเดลอาจช่วยงานคำนวณที่มีขอบเขตชัดและมีวิธีตรวจคำตอบได้ แต่การทำวิทยาศาสตร์ยังต้องเริ่มจากการเลือกว่าคำถามใดสำคัญ และจบด้วยการพิจารณาว่าคำตอบมีความหมายต่อสาขานั้นอย่างไร 15

จากคำอธิบายของ Schwartz Claude พบความเชื่อมโยงข้ามสาขาที่อาจถูกต้องในเชิงเทคนิค แต่ยังไม่ได้น่าสนใจทางวิทยาศาสตร์โดยตัวมันเอง ผู้เชี่ยวชาญในแต่ละสาขาจึงช่วยชี้ทิศทางไปยังโจทย์ที่มีความหมายต่อวงการนั้น ความต่างนี้สำคัญ: การตรวจคำนวณช่วยบอกได้ว่าผลผ่านการทดสอบหรือไม่ ส่วนการตัดสินใจว่าอะไรควรคำนวณและผลนั้นบอกอะไร ต้องอาศัยความรู้และวิจารณญาณของมนุษย์ 5

เครื่องมือช่วยตรวจงาน ไม่ใช่ใบรับรองความถูกต้องทุกกรณี

BootLoops เสนอวิธีจัดงานวิจัยที่มี AI ช่วยให้เป็นโจทย์ซึ่งทดสอบได้ มีการตรวจสอบอิสระ และมีผู้เชี่ยวชาญกำกับ ผลงานที่รายงานแสดงให้เห็นศักยภาพของแนวทางนี้ แต่ไม่ควรตีความว่าเป็นการรับประกันความถูกต้องแบบครอบจักรวาล หรือทดแทนการตรวจสอบเพิ่มเติมได้ การคำนวณที่ผ่านเกณฑ์เพียงอย่างเดียวไม่เพียงพอสำหรับตัดสินใจเรื่องที่มีความเสี่ยงสูง ยังต้องพิจารณาคำถาม สมมติฐาน และผลที่จะตามมาด้วย 245