Bagaimana GRAM Berfungsi Secara Seni Bina

Fasa Latihan

GRAM menambah seni bina Transformer standard dengan modul tambahan kecil—pada asasnya neuron khusus pada setiap lapisan—yang bertujuan untuk menangkap keupayaan dwi-guna tertentu semasa latihan . Mekanisme utama ialah perutean kecerunan (gradient routing): semasa perambatan balik, topeng berwajaran mengawal parameter mana yang dikemas kini untuk data yang mana .

• Apabila model memproses teks tujuan umum, ia belajar secara normal, manakala modul tambahan juga boleh dilatih dengan cara yang memastikan ia serasi dengan seluruh model .
• Apabila model menemui teks daripada kategori dwi-guna seperti virologi atau keselamatan siber, perutean kecerunan mengarahkan isyarat pembelajaran ke arah modul tambahan yang sepadan dan bukannya membenarkan pengetahuan itu merebak ke semua parameter model .
• Ini menumpukan pengetahuan tentang setiap domain sasaran dalam modul khusus dan bukannya menyebarkannya ke seluruh rangkaian .

Fasa Inferens

Setelah latihan selesai, modul individu boleh dialih keluar atau dilumpuhkan untuk mengurangkan akses kepada keupayaan tertentu, atau dikekalkan untuk penggunaan yang dibenarkan menggunakan pengetahuan itu . Oleh kerana setiap kategori dwi-guna memetakan kepada modulnya sendiri, satu model terlatih GRAM dengan empat kategori secara teorinya boleh dikonfigurasikan kepada 2⁴ = 16 profil keupayaan berbeza dengan menogol setiap modul hidup atau mati secara bebas .

Keputusan pada Model Sehingga 5 Bilion Parameter

Penyelidik menguji GRAM merentas beberapa tetapan dan saiz model :

1. Set data sintetik: Dalam tetapan sintetik terkawal, GRAM membuat model "melupakan" topik terpilih, dan keputusan dibandingkan dengan model yang dilatih seolah-olah topik tersebut telah ditapis dari awal .
2. Data dwi-guna realistik: Dalam persediaan yang lebih realistik menggunakan teks web, kod, kertas saintifik, dan domain dwi-guna, mengalih keluar modul GRAM mengurangkan keupayaan yang sepadan—menghampiri kesan penapisan data—sambil mengekalkan prestasi tujuan umum .
3. Kajian penskalaan: GRAM diuji merentas saiz model daripada 50 juta hingga 5 bilion parameter . Penemuan utama: GRAM menjejaki tingkah laku penapisan data; model yang lebih besar menunjukkan pemisahan yang lebih jelas antara tingkah laku modul hidup dan modul mati; dan kaedah ini dibandingkan dengan baik dengan beberapa pendekatan "unlearning" selepas latihan dalam tetapan yang diuji .

Konteks Dasar: Daripada Kawalan Modular kepada Larangan Eksport Dunia Sebenar

Penyelidikan GRAM tiba bersama contoh dunia sebenar yang mencerminkan masalah yang ingin diselesaikannya. Pada Jun 2025, pentadbiran Trump mengenakan kawalan eksport ke atas model Claude Fable 5 dan Mythos 5 Anthropic selepas kebimbangan keselamatan siber, menyekat akses untuk mana-mana warga asing—di dalam atau di luar AS, termasuk pekerja Anthropic yang merupakan warga asing . Larangan itu berlangsung selama 18 hari sebelum Jabatan Perdagangan menarik baliknya selepas semakan keselamatan negara .

Episod ini menggambarkan keadaan semasa kawalan akses AI: seluruh model—dengan semua keupayaannya—dianggap sebagai unit tunggal yang tidak boleh dibahagikan. Jika model mempunyai keupayaan berbahaya, satu-satunya pilihan hari ini ialah menahan seluruh sistem. GRAM mencadangkan alternatif yang lebih terperinci: daripada mengunci seluruh model, sistem boleh membenarkan atau melumpuhkan kategori pengetahuan tertentu bergantung pada konteks penggunaan .

Soalan Terbuka dan Had

Penyelidik Anthropic secara jelas mengenal pasti GRAM sebagai kerja awal dan menyerlahkan beberapa had :

• Skala frontier tidak diuji: GRAM belum ditunjukkan berfungsi dalam model Claude pengeluaran atau pada skala sistem frontier terbesar .
• Skop penilaian: Eksperimen yang dilaporkan memberi tumpuan kepada penilaian terkawal; penyingkiran keupayaan hiliran dunia sebenar mungkin lebih sukar diukur dengan pasti .
• Masalah kaitan asas: Sesetengah keupayaan dwi-guna mungkin berkait rapat dengan pengetahuan umum, menjadikannya sukar untuk dipisahkan dengan bersih oleh mana-mana kaedah penyetempatan atau penapisan .
• Realiti pelabelan data: GRAM bergantung pada mengenal pasti dan menyalurkan data dwi-guna yang berkaitan semasa latihan, jadi pelabelan data yang boleh dipercayai pada skala kekal sebagai cabaran praktikal yang penting .
• Penemuan awal: Anthropic membentangkan GRAM sebagai hala tuju penyelidikan awal dan bukannya mekanisme keselamatan yang digunakan—dan organisasi itu tidak pasti ia akan digunakan .

Bagaimana GRAM Berfungsi Secara Seni Bina

Fasa Latihan

GRAM menambah seni bina Transformer standard dengan modul tambahan kecil—pada asasnya neuron khusus pada setiap lapisan—yang bertujuan untuk menangkap keupayaan dwi-guna tertentu semasa latihan . Mekanisme utama ialah perutean kecerunan (gradient routing): semasa perambatan balik, topeng berwajaran mengawal parameter mana yang dikemas kini untuk data yang mana .

• Apabila model memproses teks tujuan umum, ia belajar secara normal, manakala modul tambahan juga boleh dilatih dengan cara yang memastikan ia serasi dengan seluruh model .
• Apabila model menemui teks daripada kategori dwi-guna seperti virologi atau keselamatan siber, perutean kecerunan mengarahkan isyarat pembelajaran ke arah modul tambahan yang sepadan dan bukannya membenarkan pengetahuan itu merebak ke semua parameter model .
• Ini menumpukan pengetahuan tentang setiap domain sasaran dalam modul khusus dan bukannya menyebarkannya ke seluruh rangkaian .

Fasa Inferens

Setelah latihan selesai, modul individu boleh dialih keluar atau dilumpuhkan untuk mengurangkan akses kepada keupayaan tertentu, atau dikekalkan untuk penggunaan yang dibenarkan menggunakan pengetahuan itu . Oleh kerana setiap kategori dwi-guna memetakan kepada modulnya sendiri, satu model terlatih GRAM dengan empat kategori secara teorinya boleh dikonfigurasikan kepada 2⁴ = 16 profil keupayaan berbeza dengan menogol setiap modul hidup atau mati secara bebas .

Keputusan pada Model Sehingga 5 Bilion Parameter

Penyelidik menguji GRAM merentas beberapa tetapan dan saiz model :

1. Set data sintetik: Dalam tetapan sintetik terkawal, GRAM membuat model "melupakan" topik terpilih, dan keputusan dibandingkan dengan model yang dilatih seolah-olah topik tersebut telah ditapis dari awal .
2. Data dwi-guna realistik: Dalam persediaan yang lebih realistik menggunakan teks web, kod, kertas saintifik, dan domain dwi-guna, mengalih keluar modul GRAM mengurangkan keupayaan yang sepadan—menghampiri kesan penapisan data—sambil mengekalkan prestasi tujuan umum .
3. Kajian penskalaan: GRAM diuji merentas saiz model daripada 50 juta hingga 5 bilion parameter . Penemuan utama: GRAM menjejaki tingkah laku penapisan data; model yang lebih besar menunjukkan pemisahan yang lebih jelas antara tingkah laku modul hidup dan modul mati; dan kaedah ini dibandingkan dengan baik dengan beberapa pendekatan "unlearning" selepas latihan dalam tetapan yang diuji .

Konteks Dasar: Daripada Kawalan Modular kepada Larangan Eksport Dunia Sebenar

Penyelidikan GRAM tiba bersama contoh dunia sebenar yang mencerminkan masalah yang ingin diselesaikannya. Pada Jun 2025, pentadbiran Trump mengenakan kawalan eksport ke atas model Claude Fable 5 dan Mythos 5 Anthropic selepas kebimbangan keselamatan siber, menyekat akses untuk mana-mana warga asing—di dalam atau di luar AS, termasuk pekerja Anthropic yang merupakan warga asing . Larangan itu berlangsung selama 18 hari sebelum Jabatan Perdagangan menarik baliknya selepas semakan keselamatan negara .

Episod ini menggambarkan keadaan semasa kawalan akses AI: seluruh model—dengan semua keupayaannya—dianggap sebagai unit tunggal yang tidak boleh dibahagikan. Jika model mempunyai keupayaan berbahaya, satu-satunya pilihan hari ini ialah menahan seluruh sistem. GRAM mencadangkan alternatif yang lebih terperinci: daripada mengunci seluruh model, sistem boleh membenarkan atau melumpuhkan kategori pengetahuan tertentu bergantung pada konteks penggunaan .

Soalan Terbuka dan Had

Penyelidik Anthropic secara jelas mengenal pasti GRAM sebagai kerja awal dan menyerlahkan beberapa had :

• Skala frontier tidak diuji: GRAM belum ditunjukkan berfungsi dalam model Claude pengeluaran atau pada skala sistem frontier terbesar .
• Skop penilaian: Eksperimen yang dilaporkan memberi tumpuan kepada penilaian terkawal; penyingkiran keupayaan hiliran dunia sebenar mungkin lebih sukar diukur dengan pasti .
• Masalah kaitan asas: Sesetengah keupayaan dwi-guna mungkin berkait rapat dengan pengetahuan umum, menjadikannya sukar untuk dipisahkan dengan bersih oleh mana-mana kaedah penyetempatan atau penapisan .
• Realiti pelabelan data: GRAM bergantung pada mengenal pasti dan menyalurkan data dwi-guna yang berkaitan semasa latihan, jadi pelabelan data yang boleh dipercayai pada skala kekal sebagai cabaran praktikal yang penting .
• Penemuan awal: Anthropic membentangkan GRAM sebagai hala tuju penyelidikan awal dan bukannya mekanisme keselamatan yang digunakan—dan organisasi itu tidak pasti ia akan digunakan .