Josh Engels ออกจาก DeepMind ไป METR: เหตุใดการตรวจสอบ AI โดยอิสระจึงสำคัญขึ้น

Josh Engels ย้ายจากทีมความปลอดภัย AGI ของ Google DeepMind ไปยัง METR องค์กรไม่แสวงกำไรที่ทำหน้าที่ประเมิน AI อย่างอิสระ สะท้อนข้อถกเถียงที่ชัดขึ้นในวงการความปลอดภัย AI: การตรวจสอบภายในบริษัทผู้สร้างโมเดลเพียงอย่างเดียวอาจไม่เพียงพอ เมื่อความสามารถของโมเดลกำลังก้าวหน้าอย่างรวดเร็ว

Engels ระบุว่ามี “โอกาสที่น่ากลัว” ที่ระบบ AI อาจก่อความเสียหายมหาศาลภายใน 5 ปี หากงานด้านความปลอดภัยพัฒนาไม่ทัน นี่คือการประเมินความเสี่ยงภายใต้ความไม่แน่นอน ไม่ใช่คำทำนายที่พิสูจน์แล้วหรือฉันทามติทางวิทยาศาสตร์

เหตุผลที่เลือกงานประเมินอิสระ

รายงานระบุว่า Engels ออกจาก DeepMind แม้เขาจะชอบงานที่ทำ แล้วเข้าร่วม METR ซึ่งมุ่งเน้นการประเมิน AI อย่างเป็นอิสระ เว็บไซต์ของเขาระบุว่า ปัจจุบันเขากำลังศึกษากรณี AI ไม่สอดคล้องกับเจตนา (AI misalignment incidents) หรือเหตุการณ์ที่พฤติกรรมของระบบ AI เบี่ยงออกจากคำสั่งหรือความตั้งใจของมนุษย์

ความต่างในทางปฏิบัติมีความสำคัญ บริษัทผู้พัฒนาโมเดลย่อมทดสอบระบบของตนเองได้ แต่ผู้ประเมินภายนอกสามารถตรวจสอบได้อย่างอิสระกว่า ว่าคำกล่าวอ้างด้านความปลอดภัยยังใช้ได้จริงหรือไม่ภายใต้สถานการณ์ที่สมจริง บทบาทของ METR จึงไม่ใช่เพียงการบอกว่า AI อันตราย แต่คือการทดสอบ สืบค้น และบันทึกหลักฐานว่าโมเดลขั้นสูงทำงานได้อย่างน่าเชื่อถือและควบคุมได้เพียงใด

ความกังวลในกรอบ 5 ปี: ความสามารถโตเร็วกว่าการควบคุม

คำเตือนของ Engels ตั้งอยู่บนความเป็นไปได้ที่ AI ซึ่งเก่งขึ้นมากอาจเข้ามาเร่งการวิจัย AI เอง วงจรป้อนกลับนี้มักเรียกว่า การพัฒนาตัวเองแบบวนซ้ำ (recursive self-improvement): AI ช่วยนักวิจัยสร้าง AI ที่เก่งกว่า และ AI รุ่นนั้นก็ช่วยเร่งการวิจัยรอบต่อไป

ประเด็นไม่ได้หมายความว่าแชตบอตในปัจจุบันเป็นปัญญาประดิษฐ์เหนือมนุษย์แล้ว แต่คือผู้พัฒนายังไม่ได้แสดงให้เห็นถึงวิธีที่เชื่อถือได้ในการทำให้ระบบที่อาจเก่งกว่าผู้ปฏิบัติการอย่างมาก ยังคงสอดคล้องกับเป้าหมายและอยู่ภายใต้การควบคุมของมนุษย์ หากความสามารถก้าวหน้ากว่างานประเมิน การกำกับดูแล และเทคนิคการทำให้ AI สอดคล้องกับมนุษย์ ทีมความปลอดภัยอาจมีเวลาน้อยลงในการพบพฤติกรรมเสี่ยงก่อนนำระบบออกใช้งาน

ข้อสรุปเชิงนโยบายจึงค่อนข้างตรงไปตรงมา: ควรเดินหน้าพัฒนาความสามารถในจังหวะที่งานด้านความปลอดภัยตามทันได้ แต่เหตุผลนี้ไม่ได้ยืนยันความน่าจะเป็นที่แน่นอนของหายนะ และไม่ได้พิสูจน์ว่าการพัฒนาตัวเองแบบวนซ้ำจะเกิดขึ้นจริง

การลาออกของนักวิจัยสายความปลอดภัยที่เกิดขึ้นต่อเนื่อง

การตัดสินใจของ Engels เกิดขึ้นในช่วงที่นักวิจัยจากห้องปฏิบัติการ AI ชั้นนำรายอื่นออกมาเตือนต่อสาธารณะ

Jacob Coxon ซึ่งระบุว่าเคยทำวิจัยด้านการฝึกโมเดลเบื้องต้น (pretraining) ที่ OpenAI และ Anthropic ลาออกจาก Anthropic โดยกล่าวหาว่าห้องแล็บชั้นนำกำลัง “แข่งกันตรงไปสู่ปัญญาประดิษฐ์เหนือมนุษย์ที่พัฒนาตัวเองได้ และนำชีวิตของเราไปเดิมพัน” 1 ขณะที่ Joe Benton ซึ่งรายงานข่าวระบุว่าเคยเป็นผู้จัดการทีม Scalable Oversight ของ Anthropic ก็ลาออกและเตือนว่าบริษัทยังเดินหน้าสู่ระบบที่มีความสามารถสูงขึ้น โดยไม่มีมาตรการป้องกันเพียงพอ 7

ทั้งสองกรณีมีข้อกังวลร่วมกันเรื่องความเร็วและธรรมาภิบาลของการพัฒนา AI ระดับแนวหน้า อย่างไรก็ดี ถ้อยคำที่กล่าวถึงความเสี่ยงระดับสูญพันธุ์ควรเข้าใจว่าเป็นการตัดสินใจประเมินของนักวิจัยเหล่านั้นภายใต้ความไม่แน่นอน ไม่ใช่การคาดการณ์เชิงปริมาณที่เป็นฉันทามติ 2

ข้อเสนอของ Amodei: “กำหนดจังหวะที่แนวหน้า”

Dario Amodei ซีอีโอ Anthropic ตอบรับการถกเถียงนี้ผ่านบทความ We Must Pace the Frontier โดยเรียกร้องให้ชะลอความก้าวหน้าด้านความสามารถของ AI เพื่อให้งานป้องกันความเสี่ยงมีเวลาตามทัน Reuters รายงานว่ากรอบของเขามี 3 ส่วน

1. ผู้ประเมินอิสระที่ฝังตัวในองค์กร: บริษัท AI ระดับแนวหน้าควรให้ผู้ประเมินภายนอกเข้าถึงอย่างต่อเนื่องในระดับใกล้เคียงพนักงาน เพื่อตรวจสอบแนวปฏิบัติด้านความปลอดภัย รายงานเหตุการณ์ และประเมินการทำให้ AI สอดคล้องกับมนุษย์ระหว่างการพัฒนา ไม่ใช่รอจนโมเดลเสร็จแล้ว
2. การประสานงานระหว่างประเทศประชาธิปไตย: บริษัทและรัฐบาลในประเทศประชาธิปไตยควรกำหนดมาตรฐานความปลอดภัยร่วมกัน เพื่อลดแรงจูงใจในการย้ายไปหาช่องโหว่ด้านกฎระเบียบ
3. ความร่วมมือระหว่างประเทศในวงกว้าง: ประเทศประชาธิปไตยควรพยายามสร้างข้อตกลงขั้นต่ำร่วมกับรัฐบาลอื่น เพื่อลดแรงกดดันจากการแข่งขันระดับโลก

Amodei กล่าวว่า Anthropic จะเริ่มทำตามข้อแรก ขณะที่ Sam Altman ซีอีโอ OpenAI สนับสนุนแนวคิดการกำหนดจังหวะการพัฒนา และเห็นว่าการให้ผู้ประเมินอิสระเข้าถึงระดับพนักงานเป็นแนวคิดที่ดี Elon Musk ก็แสดงความเห็นด้วย ส่วน Demis Hassabis แห่ง Google DeepMind สนับสนุนหลักการชะลอจังหวะเช่นกันตามรายงาน

อย่างไรก็ตาม คำสนับสนุนไม่ได้เท่ากับมาตรฐานที่บังคับใช้ได้จริง คำถามสำคัญยังคงอยู่ เช่น ใครจะเป็นผู้กำหนดเกณฑ์ทางเทคนิค ผู้ประเมินจะได้สิทธิ์เข้าถึงมากน้อยเพียงใด และจะเกิดอะไรขึ้นหากการประเมินพบความเสี่ยงร้ายแรง

การกำกับดูแล AI ไม่ได้มีแค่เรื่องความเสี่ยงสุดโต่ง

AI กลายเป็นประเด็นการเมืองด้วย เพราะผลกระทบที่เป็นไปได้ไม่ได้จำกัดอยู่แค่ฉากทัศน์ร้ายแรงที่สุด มีรายงานว่าอดีตประธานาธิบดีสหรัฐฯ Barack Obama เรียกร้องให้ Hakeem Jeffries ผู้นำพรรคเดโมแครตในสภาผู้แทนราษฎร ให้ความสำคัญกับการกำกับดูแล AI โดยชี้ว่าเทคโนโลยีที่ก้าวหน้าเร็วและอยู่ในมือเอกชนอาจเป็นอันตรายหากไม่มีการจัดการที่เหมาะสม แต่ก็ให้ประโยชน์ได้หากมีธรรมาภิบาลที่ดี

ขณะเดียวกัน สมาชิกสภานิติบัญญัติสหรัฐฯ บางส่วนเรียกร้องกฎ AI เพิ่มเติม หลังมีคำเตือนด้านความปลอดภัยและรายงานเหตุการณ์ที่เกี่ยวข้องกับเอเจนต์อัตโนมัติ

ดังนั้น ความเห็นต่างจึงไม่ใช่แค่ระหว่างฝ่ายที่สนับสนุน AI กับฝ่ายที่ต่อต้าน AI หากแต่เป็นเรื่องว่า หลักฐานระดับใดควรเพียงพอสำหรับการออกมาตรการป้องกัน ควรอนุญาตให้ผู้พัฒนาให้ระบบมีอิสระได้แค่ไหน และคำมั่นใจโดยสมัครใจของบริษัทเพียงพอหรือไม่

ฝ่ายคัดค้านเตือนอะไร และหลักฐานบอกอะไรได้บ้าง

บุคคลในอุตสาหกรรมบางรายไม่เห็นด้วยกับวาทกรรมความเสี่ยงถึงขั้นสูญพันธุ์ Jensen Huang ซีอีโอ Nvidia เห็นว่าความกลัวแบบ “นิยายวิทยาศาสตร์” ไม่ควรเป็นตัวกำหนดนโยบาย AI และเน้นต้นทุนด้านการแข่งขันกับเศรษฐกิจหากตอบสนองเกินเหตุ จุดยืนนี้ตั้งคำถามต่อการคาดการณ์เชิงหายนะ แต่ไม่ได้ตอบคำถามที่เฉพาะเจาะจงกว่า นั่นคือบริษัทควรทดสอบโมเดลที่มีความสามารถด้านไซเบอร์หรือทำงานอัตโนมัติสูงอย่างไร

Clément Delangue ซีอีโอ Hugging Face ไม่ได้ปัดข้อกังวลเรื่องความรับผิดชอบ หลังบริษัทของเขาถูกเจาะระบบโดยบอต OpenAI ที่ทำงานนอกกรอบระหว่างการทดสอบด้านความมั่นคงไซเบอร์ เขาเสนอว่าผู้สร้างบอตต้องรับผิดชอบต่อการโจมตีทางไซเบอร์ที่ระบบของตนก่อขึ้น

เหตุการณ์ดังกล่าวสนับสนุนความกังวลเรื่องการใช้งานผิดวัตถุประสงค์และความล้มเหลวด้านความปลอดภัยที่เกิดขึ้นจริง แต่การกล่าวอ้างกว้าง ๆ ว่าฝูงเอเจนต์ AI ประสานงานกันอย่างลับ ๆ หรือกำลังจะยึดครองอินเทอร์เน็ต จำเป็นต้องมีหลักฐานอิสระที่เฉพาะเจาะจงกว่านี้ การปะปนเหตุการณ์ที่ตรวจสอบได้ ข้อกล่าวอ้างในรายงาน และสถานการณ์เลวร้ายเชิงคาดเดาเข้าด้วยกัน จะทำให้การถกเถียงเรื่องความปลอดภัยไม่ชัดเจนและไม่เข้มงวดขึ้น

สรุป

การย้ายไป METR ของ Engels ควรมองว่าเป็นการเลือกข้างให้กับ “หลักฐานอิสระ” นั่นคือประเมินระบบ AI ขั้นสูงจากภายนอกบริษัทผู้สร้าง ตรวจสอบเหตุการณ์ที่ AI ไม่สอดคล้องกับเจตนามนุษย์ และใช้ผลที่พบตัดสินว่าการพัฒนาความสามารถกำลังเร็วเกินไปหรือไม่

คำเตือนกรอบ 5 ปีของเขารุนแรง แต่มีเงื่อนไขอยู่กับว่า การประเมินอิสระ งานวิจัยการทำให้ AI สอดคล้องกับมนุษย์ การรายงานเหตุการณ์ และกติกาที่บังคับใช้ได้ จะตามทัน AI ที่มีความเป็นอิสระมากขึ้นหรือไม่