Teknik GRAM Anthropic & AE Studio: ‘Suis Off’ Modular untuk Pengetahuan Berbahaya AI

Anthropic dan AE Studio telah memperkenalkan satu teknik eksperimen yang dipanggil GRAM (Gradient-Routed Auxiliary Modules) yang boleh memberikan model AI satu "suis off" yang terperinci untuk pengetahuan berbahaya. Daripada melatih model berasingan untuk setiap konfigurasi keselamatan, GRAM bertujuan membina satu model tunggal dengan petak boleh tanggal untuk keupayaan dwi-guna seperti virologi, keselamatan siber, dan fizik nuklear . Penyelidikan ini adalah awal—Anthropic menyatakan ia belum digunakan pada mana-mana model Claude pengeluaran —tetapi ia mewakili hala tuju yang menjanjikan untuk menjadikan keselamatan AI lebih tepat berbanding alat tumpul hari ini.

Apakah GRAM?

GRAM ialah kaedah latihan awal yang direka untuk menyetempatkan pengetahuan dwi-guna—maklumat yang boleh digunakan untuk tujuan baik dan berbahaya—ke dalam modul saraf boleh tanggal di dalam model bahasa . Selepas latihan, modul tersebut boleh dihidupkan atau dimatikan, memberi pengendali kawalan terperinci tentang keupayaan berbahaya mana yang dikekalkan oleh model . Pendekatan yang sama juga boleh membolehkan profil akses berbeza untuk pengguna berbeza: penyelidik mungkin menghidupkan pengetahuan virologi manakala chatbot awam mengekalkannya dalam keadaan dimatikan .

Bagaimana GRAM Berfungsi Secara Seni Bina

Fasa Latihan

GRAM menambah seni bina Transformer standard dengan modul tambahan kecil—pada asasnya neuron khusus pada setiap lapisan—yang bertujuan untuk menangkap keupayaan dwi-guna tertentu semasa latihan . Mekanisme utama ialah perutean kecerunan (gradient routing): semasa perambatan balik, topeng berwajaran mengawal parameter mana yang dikemas kini untuk data yang mana .

• Apabila model memproses teks tujuan umum, ia belajar secara normal, manakala modul tambahan juga boleh dilatih dengan cara yang memastikan ia serasi dengan seluruh model .
• Apabila model menemui teks daripada kategori dwi-guna seperti virologi atau keselamatan siber, perutean kecerunan mengarahkan isyarat pembelajaran ke arah modul tambahan yang sepadan dan bukannya membenarkan pengetahuan itu merebak ke semua parameter model .
• Ini menumpukan pengetahuan tentang setiap domain sasaran dalam modul khusus dan bukannya menyebarkannya ke seluruh rangkaian .

Fasa Inferens

Setelah latihan selesai, modul individu boleh dialih keluar atau dilumpuhkan untuk mengurangkan akses kepada keupayaan tertentu, atau dikekalkan untuk penggunaan yang dibenarkan menggunakan pengetahuan itu . Oleh kerana setiap kategori dwi-guna memetakan kepada modulnya sendiri, satu model terlatih GRAM dengan empat kategori secara teorinya boleh dikonfigurasikan kepada 2⁴ = 16 profil keupayaan berbeza dengan menogol setiap modul hidup atau mati secara bebas .

Keputusan pada Model Sehingga 5 Bilion Parameter

Penyelidik menguji GRAM merentas beberapa tetapan dan saiz model :

1. Set data sintetik: Dalam tetapan sintetik terkawal, GRAM membuat model "melupakan" topik terpilih, dan keputusan dibandingkan dengan model yang dilatih seolah-olah topik tersebut telah ditapis dari awal .
2. Data dwi-guna realistik: Dalam persediaan yang lebih realistik menggunakan teks web, kod, kertas saintifik, dan domain dwi-guna, mengalih keluar modul GRAM mengurangkan keupayaan yang sepadan—menghampiri kesan penapisan data—sambil mengekalkan prestasi tujuan umum .
3. Kajian penskalaan: GRAM diuji merentas saiz model daripada 50 juta hingga 5 bilion parameter . Penemuan utama: GRAM menjejaki tingkah laku penapisan data; model yang lebih besar menunjukkan pemisahan yang lebih jelas antara tingkah laku modul hidup dan modul mati; dan kaedah ini dibandingkan dengan baik dengan beberapa pendekatan "unlearning" selepas latihan dalam tetapan yang diuji .

Konteks Dasar: Daripada Kawalan Modular kepada Larangan Eksport Dunia Sebenar

Penyelidikan GRAM tiba bersama contoh dunia sebenar yang mencerminkan masalah yang ingin diselesaikannya. Pada Jun 2025, pentadbiran Trump mengenakan kawalan eksport ke atas model Claude Fable 5 dan Mythos 5 Anthropic selepas kebimbangan keselamatan siber, menyekat akses untuk mana-mana warga asing—di dalam atau di luar AS, termasuk pekerja Anthropic yang merupakan warga asing . Larangan itu berlangsung selama 18 hari sebelum Jabatan Perdagangan menarik baliknya selepas semakan keselamatan negara .

Episod ini menggambarkan keadaan semasa kawalan akses AI: seluruh model—dengan semua keupayaannya—dianggap sebagai unit tunggal yang tidak boleh dibahagikan. Jika model mempunyai keupayaan berbahaya, satu-satunya pilihan hari ini ialah menahan seluruh sistem. GRAM mencadangkan alternatif yang lebih terperinci: daripada mengunci seluruh model, sistem boleh membenarkan atau melumpuhkan kategori pengetahuan tertentu bergantung pada konteks penggunaan .

Soalan Terbuka dan Had

Penyelidik Anthropic secara jelas mengenal pasti GRAM sebagai kerja awal dan menyerlahkan beberapa had :

• Skala frontier tidak diuji: GRAM belum ditunjukkan berfungsi dalam model Claude pengeluaran atau pada skala sistem frontier terbesar .
• Skop penilaian: Eksperimen yang dilaporkan memberi tumpuan kepada penilaian terkawal; penyingkiran keupayaan hiliran dunia sebenar mungkin lebih sukar diukur dengan pasti .
• Masalah kaitan asas: Sesetengah keupayaan dwi-guna mungkin berkait rapat dengan pengetahuan umum, menjadikannya sukar untuk dipisahkan dengan bersih oleh mana-mana kaedah penyetempatan atau penapisan .
• Realiti pelabelan data: GRAM bergantung pada mengenal pasti dan menyalurkan data dwi-guna yang berkaitan semasa latihan, jadi pelabelan data yang boleh dipercayai pada skala kekal sebagai cabaran praktikal yang penting .
• Penemuan awal: Anthropic membentangkan GRAM sebagai hala tuju penyelidikan awal dan bukannya mekanisme keselamatan yang digunakan—dan organisasi itu tidak pasti ia akan digunakan .