GRAM Mimarisi Nasıl Çalışır?

Eğitim Aşaması

GRAM, standart Transformer mimarisine, her katmana eklenen küçük yardımcı modüller (özelleşmiş nöronlar) ekleyerek çalışır. Bu modüller, eğitim sırasında belirli çift kullanımlı yetenekleri yakalamak üzere tasarlanmıştır . Anahtar mekanizma ise 'gradyan yönlendirme'dir (gradient routing): geri yayılım sırasında, ağırlıklı maskeler hangi parametrelerin hangi verilerle güncelleneceğini kontrol eder .

• Model genel amaçlı metinler işlerken, normal şekilde öğrenir. Yardımcı modüller de modelin geri kalanıyla uyumlu kalacak şekilde eğitilir .
• Model, viroloji veya siber güvenlik gibi çift kullanımlı bir kategoriden metinlerle karşılaştığında, gradyan yönlendirme, bu bilginin tüm model parametrelerine yayılmasına izin vermek yerine, öğrenme sinyalini ilgili yardımcı modüle yönlendirir .
• Bu sayede, her hedef alanla ilgili bilgi, ağ geneline yayılmak yerine özel bir modülde yoğunlaşır .

Çıkarım Aşaması

Eğitim tamamlandıktan sonra, bireysel modüller belirli bir yeteneğe erişimi azaltmak için kaldırılabilir veya devre dışı bırakılabilir ya da bu bilgiyi kullanmasına izin verilen dağıtımlar için yerinde bırakılabilir . Her çift kullanımlı kategori kendi modülüne eşlendiğinden, dört kategorili tek bir GRAM eğitimli model, her modülü bağımsız olarak açıp kapatarak teorik olarak 2⁴ = 16 farklı yetenek profiline bürünebilir .

5 Milyar Parametreye Kadar Test Sonuçları

Araştırmacılar GRAM'ı çeşitli ortamlarda ve model boyutlarında test etti :

1. Sentetik veri seti: Kontrollü bir sentetik ortamda GRAM, modelin seçilen konuları 'unutmasını' sağladı ve sonuçlar, bu konuların en başından itibaren filtrelendiği modellerle karşılaştırıldı .
2. Gerçekçi çift kullanımlı veriler: Web metni, kod, bilimsel makaleler ve çift kullanımlı alanların kullanıldığı daha gerçekçi bir ortamda, bir GRAM modülünün kaldırılması, genel amaçlı performansı korurken ilgili yeteneği azalttı .
3. Ölçeklendirme çalışması: GRAM, 50 milyon ila 5 milyar parametre arasındaki model boyutlarında test edildi . Temel bulgular: GRAM, veri filtreleme davranışını takip etti; daha büyük modeller, modül açık ve modül kapalı davranışları arasında daha net bir ayrım gösterdi; ve yöntem, test edilen bazı eğitim sonrası 'unutturma' yaklaşımlarına kıyasla olumlu sonuçlar verdi .

Politika Bağlamı: Modüler Kontrollerden Gerçek Dünya İhracat Yasaklarına

GRAM araştırması, çözmeyi amaçladığı sorunun yüksek riskli, gerçek dünyadaki bir örneğiyle aynı döneme denk geldi. Haziran 2025'te Trump yönetimi, siber güvenlik endişeleri nedeniyle Anthropic'in Claude Fable 5 ve Mythos 5 modellerine ihracat kontrolleri getirdi. Bu kapsamda, ABD içinde veya dışında bulunan yabancı uyruklu herkesin (Anthropic'in yabancı uyruklu çalışanları dahil) bu modellere erişimi engellendi . Yasak, Ticaret Bakanlığı'nın ulusal güvenlik incelemesinin ardından 18 gün sürdü .

Bu olay, yapay zeka erişim kontrolünün bugünkü durumunu gözler önüne seriyor: tüm yetenekleriyle bir model, tek ve bölünmez bir birim olarak ele alınıyor. Bir model tehlikeli bir yeteneğe sahipse, bugünkü tek seçenek tüm sistemi kullanıma kapatmak. GRAM ise daha ince ayarlı bir alternatif sunuyor: tüm modeli kilitlemek yerine, bir sistem dağıtım bağlamına bağlı olarak belirli bilgi kategorilerine izin verebilir veya bunları devre dışı bırakabilir .

Açık Sorular ve Sınırlamalar

Anthropic araştırmacıları, GRAM'ı açıkça 'ön çalışma' olarak tanımlıyor ve birkaç sınırlamanın altını çiziyor :

• Sınır ölçeğinde test edilmedi: GRAM'ın üretimdeki Claude modellerinde veya en büyük sınır sistemlerinin ölçeğinde çalıştığı gösterilmedi .
• Değerlendirme kapsamı: Rapor edilen deneyler kontrollü değerlendirmelere odaklanıyor; gerçek dünyadaki yetenek kaldırma işleminin güvenilir bir şekilde ölçülmesi daha zor olabilir .
• Temel iç içe geçme sorunu: Bazı çift kullanımlı yetenekler, genel bilgiyle derinden iç içe geçmiş olabilir ve bu da herhangi bir yerelleştirme veya filtreleme yönteminin bunları temiz bir şekilde ayırmasını zorlaştırabilir .
• Veri etiketleme gerçekçiliği: GRAM, eğitim sırasında ilgili çift kullanımlı verileri tanımlamaya ve yönlendirmeye bağlıdır. Bu nedenle, bu tür verileri büyük ölçekte güvenilir bir şekilde etiketlemek önemli bir pratik zorluk olmaya devam etmektedir .
• Ön bulgular: Anthropic, GRAM'ı dağıtılmış bir güvenlik mekanizmasından ziyade erken bir araştırma yönü olarak sunuyor ve kuruluşun bunun hiçbir zaman dağıtılıp dağıtılmayacağından emin olmadığını belirtiyor .

GRAM Mimarisi Nasıl Çalışır?

Eğitim Aşaması

GRAM, standart Transformer mimarisine, her katmana eklenen küçük yardımcı modüller (özelleşmiş nöronlar) ekleyerek çalışır. Bu modüller, eğitim sırasında belirli çift kullanımlı yetenekleri yakalamak üzere tasarlanmıştır . Anahtar mekanizma ise 'gradyan yönlendirme'dir (gradient routing): geri yayılım sırasında, ağırlıklı maskeler hangi parametrelerin hangi verilerle güncelleneceğini kontrol eder .

• Model genel amaçlı metinler işlerken, normal şekilde öğrenir. Yardımcı modüller de modelin geri kalanıyla uyumlu kalacak şekilde eğitilir .
• Model, viroloji veya siber güvenlik gibi çift kullanımlı bir kategoriden metinlerle karşılaştığında, gradyan yönlendirme, bu bilginin tüm model parametrelerine yayılmasına izin vermek yerine, öğrenme sinyalini ilgili yardımcı modüle yönlendirir .
• Bu sayede, her hedef alanla ilgili bilgi, ağ geneline yayılmak yerine özel bir modülde yoğunlaşır .

Çıkarım Aşaması

Eğitim tamamlandıktan sonra, bireysel modüller belirli bir yeteneğe erişimi azaltmak için kaldırılabilir veya devre dışı bırakılabilir ya da bu bilgiyi kullanmasına izin verilen dağıtımlar için yerinde bırakılabilir . Her çift kullanımlı kategori kendi modülüne eşlendiğinden, dört kategorili tek bir GRAM eğitimli model, her modülü bağımsız olarak açıp kapatarak teorik olarak 2⁴ = 16 farklı yetenek profiline bürünebilir .

5 Milyar Parametreye Kadar Test Sonuçları

Araştırmacılar GRAM'ı çeşitli ortamlarda ve model boyutlarında test etti :

1. Sentetik veri seti: Kontrollü bir sentetik ortamda GRAM, modelin seçilen konuları 'unutmasını' sağladı ve sonuçlar, bu konuların en başından itibaren filtrelendiği modellerle karşılaştırıldı .
2. Gerçekçi çift kullanımlı veriler: Web metni, kod, bilimsel makaleler ve çift kullanımlı alanların kullanıldığı daha gerçekçi bir ortamda, bir GRAM modülünün kaldırılması, genel amaçlı performansı korurken ilgili yeteneği azalttı .
3. Ölçeklendirme çalışması: GRAM, 50 milyon ila 5 milyar parametre arasındaki model boyutlarında test edildi . Temel bulgular: GRAM, veri filtreleme davranışını takip etti; daha büyük modeller, modül açık ve modül kapalı davranışları arasında daha net bir ayrım gösterdi; ve yöntem, test edilen bazı eğitim sonrası 'unutturma' yaklaşımlarına kıyasla olumlu sonuçlar verdi .

Politika Bağlamı: Modüler Kontrollerden Gerçek Dünya İhracat Yasaklarına

GRAM araştırması, çözmeyi amaçladığı sorunun yüksek riskli, gerçek dünyadaki bir örneğiyle aynı döneme denk geldi. Haziran 2025'te Trump yönetimi, siber güvenlik endişeleri nedeniyle Anthropic'in Claude Fable 5 ve Mythos 5 modellerine ihracat kontrolleri getirdi. Bu kapsamda, ABD içinde veya dışında bulunan yabancı uyruklu herkesin (Anthropic'in yabancı uyruklu çalışanları dahil) bu modellere erişimi engellendi . Yasak, Ticaret Bakanlığı'nın ulusal güvenlik incelemesinin ardından 18 gün sürdü .

Bu olay, yapay zeka erişim kontrolünün bugünkü durumunu gözler önüne seriyor: tüm yetenekleriyle bir model, tek ve bölünmez bir birim olarak ele alınıyor. Bir model tehlikeli bir yeteneğe sahipse, bugünkü tek seçenek tüm sistemi kullanıma kapatmak. GRAM ise daha ince ayarlı bir alternatif sunuyor: tüm modeli kilitlemek yerine, bir sistem dağıtım bağlamına bağlı olarak belirli bilgi kategorilerine izin verebilir veya bunları devre dışı bırakabilir .

Açık Sorular ve Sınırlamalar

Anthropic araştırmacıları, GRAM'ı açıkça 'ön çalışma' olarak tanımlıyor ve birkaç sınırlamanın altını çiziyor :

• Sınır ölçeğinde test edilmedi: GRAM'ın üretimdeki Claude modellerinde veya en büyük sınır sistemlerinin ölçeğinde çalıştığı gösterilmedi .
• Değerlendirme kapsamı: Rapor edilen deneyler kontrollü değerlendirmelere odaklanıyor; gerçek dünyadaki yetenek kaldırma işleminin güvenilir bir şekilde ölçülmesi daha zor olabilir .
• Temel iç içe geçme sorunu: Bazı çift kullanımlı yetenekler, genel bilgiyle derinden iç içe geçmiş olabilir ve bu da herhangi bir yerelleştirme veya filtreleme yönteminin bunları temiz bir şekilde ayırmasını zorlaştırabilir .
• Veri etiketleme gerçekçiliği: GRAM, eğitim sırasında ilgili çift kullanımlı verileri tanımlamaya ve yönlendirmeye bağlıdır. Bu nedenle, bu tür verileri büyük ölçekte güvenilir bir şekilde etiketlemek önemli bir pratik zorluk olmaya devam etmektedir .
• Ön bulgular: Anthropic, GRAM'ı dağıtılmış bir güvenlik mekanizmasından ziyade erken bir araştırma yönü olarak sunuyor ve kuruluşun bunun hiçbir zaman dağıtılıp dağıtılmayacağından emin olmadığını belirtiyor .