GRAM คืออะไร?

GRAM เป็นวิธีการฝึกก่อนการใช้งาน (pretraining) ที่ออกแบบมาเพื่อจัดเก็บความรู้แบบ dual-use—ข้อมูลที่สามารถใช้ประโยชน์ได้ทั้งในทางที่เป็นประโยชน์และเป็นโทษ—ไว้ในโมดูลประสาทที่สามารถถอดออกได้ภายในโมเดลภาษาขนาดใหญ่ (LLM) หลังจากการฝึก โมดูลเหล่านั้นสามารถเปิดหรือปิดได้ ทำให้ผู้ควบคุมสามารถควบคุมได้อย่างละเอียดว่าโมเดลจะรักษาความสามารถอันตรายใดไว้ แนวทางเดียวกันนี้ยังสามารถเปิดใช้งานโปรไฟล์การเข้าถึงที่แตกต่างกันสำหรับผู้ใช้ที่แตกต่างกัน: นักวิจัยอาจเปิดใช้งานความรู้ด้านไวรัสวิทยา ในขณะที่แชทบอทที่ให้บริการสาธารณะจะปิดการใช้งานไว้

GRAM ทำงานอย่างไรในเชิงโครงสร้าง

ขั้นตอนการฝึก

GRAM ปรับปรุงสถาปัตยกรรม Transformer มาตรฐานโดยการเพิ่มโมดูลเสริมขนาดเล็ก—โดยพื้นฐานแล้วคือเซลล์ประสาทเฉพาะในทุกเลเยอร์—ที่มีจุดประสงค์เพื่อจับภาพความสามารถแบบ dual-use เฉพาะระหว่างการฝึก กลไกสำคัญคือการกำหนดเส้นทางเกรเดียนต์ (gradient routing): ในระหว่างการแพร่กระจายย้อนกลับ (backpropagation) หน้ากากแบบถ่วงน้ำหนัก (weighted masks) จะควบคุมว่าพารามิเตอร์ใดจะอัปเดตสำหรับข้อมูลใด

• เมื่อโมเดลประมวลผล ข้อความทั่วไป มันจะเรียนรู้ตามปกติ ในขณะที่โมดูลเสริมก็สามารถฝึกในลักษณะที่ทำให้เข้ากันได้กับส่วนอื่นๆ ของโมเดล
• เมื่อโมเดลพบข้อความจาก หมวดหมู่ dual-use เช่น ไวรัสวิทยาหรือความปลอดภัยทางไซเบอร์ การกำหนดเส้นทางเกรเดียนต์จะนำสัญญาณการเรียนรู้ไปยังโมดูลเสริมที่เกี่ยวข้อง แทนที่จะปล่อยให้ความรู้นั้นกระจายไปทั่วพารามิเตอร์ของโมเดลทั้งหมด
• การดำเนินการนี้จะรวมความรู้เกี่ยวกับแต่ละโดเมนเป้าหมายไว้ในโมดูลเฉพาะ แทนที่จะกระจายไปทั่วเครือข่าย

ขั้นตอนการอนุมาน

เมื่อการฝึกเสร็จสมบูรณ์ โมดูลแต่ละตัวสามารถถูกลบหรือปิดใช้งานเพื่อลดการเข้าถึงความสามารถเฉพาะ หรือคงไว้สำหรับการใช้งานที่ได้รับอนุญาตให้ใช้ความรู้นั้น เนื่องจากแต่ละหมวดหมู่ dual-use จะถูกจับคู่กับโมดูลของตัวเอง โมเดลเดียวที่ผ่านการฝึกด้วย GRAM ซึ่งมีสี่หมวดหมู่จึงสามารถกำหนดค่าได้ถึง 2⁴ = 16 โปรไฟล์ความสามารถที่แตกต่างกัน โดยการสลับเปิดหรือปิดแต่ละโมดูลอย่างอิสระ

ผลลัพธ์บนโมเดลสูงสุด 5 พันล้านพารามิเตอร์

นักวิจัยได้ทดสอบ GRAM ในหลายสถานการณ์และขนาดโมเดล :

1. ชุดข้อมูลสังเคราะห์: ในสถานการณ์สังเคราะห์ที่ควบคุมได้ GRAM ทำให้โมเดล 'ลืม' หัวข้อที่เลือก และผลลัพธ์ถูกเปรียบเทียบกับโมเดลที่ฝึกเหมือนกับว่าหัวข้อเหล่านั้นถูกกรองออกตั้งแต่แรก
2. ข้อมูล dual-use ในโลกจริง: ในการตั้งค่าที่สมจริงยิ่งขึ้นโดยใช้ข้อความเว็บ โค้ด เอกสารทางวิทยาศาสตร์ และโดเมน dual-use การลบโมดูล GRAM ออกจะลดความสามารถที่สอดคล้องกัน—ซึ่งใกล้เคียงกับผลของการกรองข้อมูล—ในขณะที่ยังคงรักษาประสิทธิภาพการทำงานทั่วไปไว้
3. การศึกษาการปรับขนาด: GRAM ถูกทดสอบกับขนาดโมเดลตั้งแต่ 50 ล้านถึง 5 พันล้านพารามิเตอร์ ผลการวิจัยที่สำคัญ: GRAM ติดตามพฤติกรรมของการกรองข้อมูล โมเดลขนาดใหญ่แสดงให้เห็นถึงการแยกระหว่างพฤติกรรมเมื่อเปิดและปิดโมดูลได้ชัดเจนขึ้น และวิธีการนี้มีประสิทธิภาพดีกว่าแนวทางการลืมหลังการฝึกบางวิธีในสถานการณ์ที่ทดสอบ

บริบทเชิงนโยบาย: จากการควบคุมแบบโมดูลาร์สู่การห้ามส่งออกในโลกจริง

งานวิจัยของ GRAM เกิดขึ้นพร้อมกับตัวอย่างในโลกจริงที่มีความสำคัญสูงของปัญหาที่พยายามแก้ไข ในเดือนมิถุนายน 2025 รัฐบาลทรัมป์ได้กำหนดมาตรการควบคุมการส่งออกโมเดล Claude Fable 5 และ Mythos 5 ของ Anthropic หลังจากเกิดข้อกังวลด้านความปลอดภัยทางไซเบอร์ โดยปิดกั้นการเข้าถึงสำหรับบุคคลต่างชาติทุกคน—ทั้งภายในและภายนอกสหรัฐฯ รวมถึงพนักงาน Anthropic ที่เป็นชาวต่างชาติ การแบนกินเวลานาน 18 วัน ก่อนที่กระทรวงพาณิชย์จะยกเลิกหลังจากการทบทวนความมั่นคงแห่งชาติ

เหตุการณ์นี้แสดงให้เห็นถึงสถานะปัจจุบันของการควบคุมการเข้าถึง AI: โมเดลทั้งหมด—พร้อมกับความสามารถทั้งหมด—ถูกปฏิบัติเสมือนเป็นหน่วยเดียวที่แบ่งแยกไม่ได้ หากโมเดลมีความสามารถที่เป็นอันตราย ทางเลือกเดียวในปัจจุบันคือการระงับระบบทั้งหมด GRAM เสนอทางเลือกที่ละเอียดกว่า: แทนที่จะล็อกดาวน์ทั้งโมเดล ระบบสามารถอนุญาตหรือปิดใช้งานความรู้เฉพาะหมวดหมู่ ขึ้นอยู่กับบริบทของการปรับใช้

คำถามที่ยังเปิดกว้างและข้อจำกัด

นักวิจัยของ Anthropic ระบุอย่างชัดเจนว่า GRAM เป็นงานเบื้องต้นและเน้นย้ำข้อจำกัดหลายประการ :

• ยังไม่ทดสอบในระดับ frontier: GRAM ยังไม่ได้รับการพิสูจน์ว่าใช้งานได้ในโมเดล Claude ที่ใช้งานจริง หรือในขนาดของระบบ frontier ที่ใหญ่ที่สุด
• ขอบเขตการประเมิน: การทดลองที่รายงานมุ่งเน้นไปที่การประเมินที่มีการควบคุม การลบความสามารถในโลกจริงที่ปลายน้ำอาจวัดได้ยากกว่า
• ปัญหาการเกี่ยวพันขั้นพื้นฐาน: ความสามารถแบบ dual-use บางอย่างอาจเกี่ยวพันอย่างลึกซึ้งกับความรู้ทั่วไป ทำให้ยากสำหรับวิธีการระบุตำแหน่งหรือการกรองใดๆ ที่จะแยกออกจากกันอย่างสะอาด
• ความสมจริงของการติดป้ายข้อมูล: GRAM ขึ้นอยู่กับการระบุและกำหนดเส้นทางข้อมูล dual-use ที่เกี่ยวข้องระหว่างการฝึก ดังนั้นการติดป้ายข้อมูลดังกล่าวอย่างน่าเชื่อถือในวงกว้างจึงยังคงเป็นความท้าทายในทางปฏิบัติที่สำคัญ
• ข้อค้นพบเบื้องต้น: Anthropic นำเสนอ GRAM ในฐานะแนวทางการวิจัยในระยะเริ่มต้นมากกว่ากลไกความปลอดภัยที่ปรับใช้แล้ว—และองค์กรไม่แน่ใจว่าจะมีการนำไปใช้จริงหรือไม่

GRAM คืออะไร?

GRAM เป็นวิธีการฝึกก่อนการใช้งาน (pretraining) ที่ออกแบบมาเพื่อจัดเก็บความรู้แบบ dual-use—ข้อมูลที่สามารถใช้ประโยชน์ได้ทั้งในทางที่เป็นประโยชน์และเป็นโทษ—ไว้ในโมดูลประสาทที่สามารถถอดออกได้ภายในโมเดลภาษาขนาดใหญ่ (LLM) หลังจากการฝึก โมดูลเหล่านั้นสามารถเปิดหรือปิดได้ ทำให้ผู้ควบคุมสามารถควบคุมได้อย่างละเอียดว่าโมเดลจะรักษาความสามารถอันตรายใดไว้ แนวทางเดียวกันนี้ยังสามารถเปิดใช้งานโปรไฟล์การเข้าถึงที่แตกต่างกันสำหรับผู้ใช้ที่แตกต่างกัน: นักวิจัยอาจเปิดใช้งานความรู้ด้านไวรัสวิทยา ในขณะที่แชทบอทที่ให้บริการสาธารณะจะปิดการใช้งานไว้

GRAM ทำงานอย่างไรในเชิงโครงสร้าง

ขั้นตอนการฝึก

GRAM ปรับปรุงสถาปัตยกรรม Transformer มาตรฐานโดยการเพิ่มโมดูลเสริมขนาดเล็ก—โดยพื้นฐานแล้วคือเซลล์ประสาทเฉพาะในทุกเลเยอร์—ที่มีจุดประสงค์เพื่อจับภาพความสามารถแบบ dual-use เฉพาะระหว่างการฝึก กลไกสำคัญคือการกำหนดเส้นทางเกรเดียนต์ (gradient routing): ในระหว่างการแพร่กระจายย้อนกลับ (backpropagation) หน้ากากแบบถ่วงน้ำหนัก (weighted masks) จะควบคุมว่าพารามิเตอร์ใดจะอัปเดตสำหรับข้อมูลใด

• เมื่อโมเดลประมวลผล ข้อความทั่วไป มันจะเรียนรู้ตามปกติ ในขณะที่โมดูลเสริมก็สามารถฝึกในลักษณะที่ทำให้เข้ากันได้กับส่วนอื่นๆ ของโมเดล
• เมื่อโมเดลพบข้อความจาก หมวดหมู่ dual-use เช่น ไวรัสวิทยาหรือความปลอดภัยทางไซเบอร์ การกำหนดเส้นทางเกรเดียนต์จะนำสัญญาณการเรียนรู้ไปยังโมดูลเสริมที่เกี่ยวข้อง แทนที่จะปล่อยให้ความรู้นั้นกระจายไปทั่วพารามิเตอร์ของโมเดลทั้งหมด
• การดำเนินการนี้จะรวมความรู้เกี่ยวกับแต่ละโดเมนเป้าหมายไว้ในโมดูลเฉพาะ แทนที่จะกระจายไปทั่วเครือข่าย

ขั้นตอนการอนุมาน

เมื่อการฝึกเสร็จสมบูรณ์ โมดูลแต่ละตัวสามารถถูกลบหรือปิดใช้งานเพื่อลดการเข้าถึงความสามารถเฉพาะ หรือคงไว้สำหรับการใช้งานที่ได้รับอนุญาตให้ใช้ความรู้นั้น เนื่องจากแต่ละหมวดหมู่ dual-use จะถูกจับคู่กับโมดูลของตัวเอง โมเดลเดียวที่ผ่านการฝึกด้วย GRAM ซึ่งมีสี่หมวดหมู่จึงสามารถกำหนดค่าได้ถึง 2⁴ = 16 โปรไฟล์ความสามารถที่แตกต่างกัน โดยการสลับเปิดหรือปิดแต่ละโมดูลอย่างอิสระ

ผลลัพธ์บนโมเดลสูงสุด 5 พันล้านพารามิเตอร์

นักวิจัยได้ทดสอบ GRAM ในหลายสถานการณ์และขนาดโมเดล :

1. ชุดข้อมูลสังเคราะห์: ในสถานการณ์สังเคราะห์ที่ควบคุมได้ GRAM ทำให้โมเดล 'ลืม' หัวข้อที่เลือก และผลลัพธ์ถูกเปรียบเทียบกับโมเดลที่ฝึกเหมือนกับว่าหัวข้อเหล่านั้นถูกกรองออกตั้งแต่แรก
2. ข้อมูล dual-use ในโลกจริง: ในการตั้งค่าที่สมจริงยิ่งขึ้นโดยใช้ข้อความเว็บ โค้ด เอกสารทางวิทยาศาสตร์ และโดเมน dual-use การลบโมดูล GRAM ออกจะลดความสามารถที่สอดคล้องกัน—ซึ่งใกล้เคียงกับผลของการกรองข้อมูล—ในขณะที่ยังคงรักษาประสิทธิภาพการทำงานทั่วไปไว้
3. การศึกษาการปรับขนาด: GRAM ถูกทดสอบกับขนาดโมเดลตั้งแต่ 50 ล้านถึง 5 พันล้านพารามิเตอร์ ผลการวิจัยที่สำคัญ: GRAM ติดตามพฤติกรรมของการกรองข้อมูล โมเดลขนาดใหญ่แสดงให้เห็นถึงการแยกระหว่างพฤติกรรมเมื่อเปิดและปิดโมดูลได้ชัดเจนขึ้น และวิธีการนี้มีประสิทธิภาพดีกว่าแนวทางการลืมหลังการฝึกบางวิธีในสถานการณ์ที่ทดสอบ

บริบทเชิงนโยบาย: จากการควบคุมแบบโมดูลาร์สู่การห้ามส่งออกในโลกจริง

งานวิจัยของ GRAM เกิดขึ้นพร้อมกับตัวอย่างในโลกจริงที่มีความสำคัญสูงของปัญหาที่พยายามแก้ไข ในเดือนมิถุนายน 2025 รัฐบาลทรัมป์ได้กำหนดมาตรการควบคุมการส่งออกโมเดล Claude Fable 5 และ Mythos 5 ของ Anthropic หลังจากเกิดข้อกังวลด้านความปลอดภัยทางไซเบอร์ โดยปิดกั้นการเข้าถึงสำหรับบุคคลต่างชาติทุกคน—ทั้งภายในและภายนอกสหรัฐฯ รวมถึงพนักงาน Anthropic ที่เป็นชาวต่างชาติ การแบนกินเวลานาน 18 วัน ก่อนที่กระทรวงพาณิชย์จะยกเลิกหลังจากการทบทวนความมั่นคงแห่งชาติ

เหตุการณ์นี้แสดงให้เห็นถึงสถานะปัจจุบันของการควบคุมการเข้าถึง AI: โมเดลทั้งหมด—พร้อมกับความสามารถทั้งหมด—ถูกปฏิบัติเสมือนเป็นหน่วยเดียวที่แบ่งแยกไม่ได้ หากโมเดลมีความสามารถที่เป็นอันตราย ทางเลือกเดียวในปัจจุบันคือการระงับระบบทั้งหมด GRAM เสนอทางเลือกที่ละเอียดกว่า: แทนที่จะล็อกดาวน์ทั้งโมเดล ระบบสามารถอนุญาตหรือปิดใช้งานความรู้เฉพาะหมวดหมู่ ขึ้นอยู่กับบริบทของการปรับใช้

คำถามที่ยังเปิดกว้างและข้อจำกัด

นักวิจัยของ Anthropic ระบุอย่างชัดเจนว่า GRAM เป็นงานเบื้องต้นและเน้นย้ำข้อจำกัดหลายประการ :

• ยังไม่ทดสอบในระดับ frontier: GRAM ยังไม่ได้รับการพิสูจน์ว่าใช้งานได้ในโมเดล Claude ที่ใช้งานจริง หรือในขนาดของระบบ frontier ที่ใหญ่ที่สุด
• ขอบเขตการประเมิน: การทดลองที่รายงานมุ่งเน้นไปที่การประเมินที่มีการควบคุม การลบความสามารถในโลกจริงที่ปลายน้ำอาจวัดได้ยากกว่า
• ปัญหาการเกี่ยวพันขั้นพื้นฐาน: ความสามารถแบบ dual-use บางอย่างอาจเกี่ยวพันอย่างลึกซึ้งกับความรู้ทั่วไป ทำให้ยากสำหรับวิธีการระบุตำแหน่งหรือการกรองใดๆ ที่จะแยกออกจากกันอย่างสะอาด
• ความสมจริงของการติดป้ายข้อมูล: GRAM ขึ้นอยู่กับการระบุและกำหนดเส้นทางข้อมูล dual-use ที่เกี่ยวข้องระหว่างการฝึก ดังนั้นการติดป้ายข้อมูลดังกล่าวอย่างน่าเชื่อถือในวงกว้างจึงยังคงเป็นความท้าทายในทางปฏิบัติที่สำคัญ
• ข้อค้นพบเบื้องต้น: Anthropic นำเสนอ GRAM ในฐานะแนวทางการวิจัยในระยะเริ่มต้นมากกว่ากลไกความปลอดภัยที่ปรับใช้แล้ว—และองค์กรไม่แน่ใจว่าจะมีการนำไปใช้จริงหรือไม่