Dario Amodei, sınır yapay zekânın durmasını değil daha temkinli ilerlemesini istiyor

Dario Amodei’nin We Must Pace the Frontier başlıklı denemesi, yapay zekâ araştırmasının ya da model eğitimlerinin tamamen durdurulmasını istemiyor. Anthropic CEO’sunun önerisi, en ileri yapay zekâ sistemlerinin yeteneklerindeki artış hızını bilinçli olarak yavaşlatmak: Böylece hizalama çalışmaları, güvenlik kontrolleri, bağımsız değerlendirmeler ve kamusal yönetişim bu sistemlere yetişebilsin. 7

“Temkinli ilerletmek” ne anlama geliyor?

Amodei’nin vurguladığı ayrım önemli: Bu yaklaşım teknik ilerlemeyi dondurmak demek değil. Laboratuvarlar daha güçlü modelleri yaygın kullanıma açmadan önce, güvenlik önlemlerinin gerçekten işe yaradığını sınamak için daha fazla zaman ayırmalı. Ona göre ilerleme yine hızlı görünecek; fakat kritik yetenek seviyelerine ulaşmadan önce kazanılacak bir-iki yıl, bu süre hizalama ve koruma önlemlerine ayrılırsa ciddi bir başarısızlık riskini anlamlı ölçüde azaltabilir. 67

Endişenin merkezinde özyinelemeli öz-iyileştirme bulunuyor: Yapay zekâ sistemlerinin, sonraki nesil yapay zekâyı geliştiren araştırma ve mühendislik çalışmalarına giderek daha doğrudan katkı sunması. Amodei, bu döngünün insanların ileri sistemleri anlama, değerlendirme ve denetleme kapasitesini geride bırakabileceği uyarısında bulunuyor. 7

Altı ila 12 ay içinde “kontrolden çıkan ajanlar” uyarısı

Denemenin en çarpıcı bölümü, otonom ajanlara ilişkin öngörü. Amodei, yetenek gelişiminin mevcut hızında sürmesi hâlinde yeterince güçlü bir ajan sürüsünün altı ila 12 ay içinde kalıcı bir botnet aracılığıyla internetin büyük bölümünü ele geçirebileceğini; bunun yüzlerce milyar dolarlık zarara yol açabileceğini yazdı. 7

Bu, böyle bir olayın yaşandığına ilişkin bir tespit değil, olası gelecek kabiliyete dair bir tahmin. Uyarının pratik mesajı şu: Siber kötüye kullanım ve denetim kaybı riskleri, klasik politika oluşturma süreçlerinin veya şirketlerin gönüllü açıklamalarının yetişemeyeceği kadar kısa bir zaman diliminde ortaya çıkabilir. 717

Amodei’nin üç aşamalı önerisi

1. Bağımsız denetçilere şirket içinde sürekli erişim

İlk ve en somut adım, en gelişmiş yapay zekâ modellerini geliştiren şirketlerin nitelikli üçüncü taraf denetçilere çalışan düzeyinde, devamlı erişim sağlaması. Bu denetçiler güvenlik uygulamalarını inceleyebilecek, modelleri değerlendirebilecek ve olayları raporlayabilecek; yalnızca şirketin seçtiği kamuya açık özetlere dayanmayacak. Anthropic, bu adımı tek taraflı olarak atacağını açıkladı. 17

Amaç, şirketlerin güvenlik iddialarını daha doğrulanabilir kılmak. Denetimi günlük geliştirme faaliyetlerine yaklaştıran bu model, bir sistem geniş çapta kullanıma sunulmadan önce olası açıkların dışarıdan tespit edilmesine yardımcı olabilir.

2. Demokratik ülkeler arasında ortak standartlar

İkinci aşamada Amodei, demokratik ülkelerdeki şirketler ve hükümetler arasında ortak güvenlik standartları ile ortak bir ilerleme temposu kurulmasını öneriyor. Rakip şirketlerin doğrudan koordinasyonu rekabet hukuku açısından sorun yaratabileceği için, ABD hükümetinin dar kapsamlı güvenlik iş birliklerine izin verecek destek sağlaması çağrısında bulunuyor.

Hedef, bir şirketin yalnızca rakipleri daha hızlı gidiyor diye güvenlik için ayırdığı süreyi kısmak zorunda kalmasının önüne geçmek. Bu bakış açısında risk, bir tür kolektif eylem sorunu: Her laboratuvar temkinli davranmanın değerini görebilir, ancak diğerleri sınırsız biçimde hızlanıyorsa yarışta geri kalmaktan çekinebilir.

3. Otoriter devletlerle de bir tür iş birliği aramak

Üçüncü aşama en çetini: Çin’in de aralarında olduğu otoriter yönetimlerle bir tür iş birliği zemini bulmak. Amodei’ye göre kalıcı çözüm yalnızca demokratik ülkelerle sınırlı olamaz. Demokratik ülkeler tek taraflı biçimde yavaşlarken rakip devlet destekli projeler benzer sınırlar olmadan ilerlerse, bu stratejik açıdan tehlikeli olabilir. 7

Ne var ki iş birliği, ciddi güven ve güvenlik sorunları doğuruyor. Hassas güvenlik yöntemlerinin, değerlendirme uygulamalarının veya doğrulama erişiminin paylaşılması stratejik bir rakibi güçlendirebilir. Çin meselesi bu nedenle planın temel ikilemini ortaya koyuyor: Küresel bir anlaşmayı doğrulamak zor; yalnızca demokrasilerle sınırlı bir anlaşma ise istikrarsız ya da jeopolitik açıdan riskli olabilir. 7

Çağrıya kimler destek verdi?

NPR’ın haberine göre OpenAI CEO’su Sam Altman, Amodei’nin “sınırı temkinli ilerletme” çağrısına katıldığını ve OpenAI’ın şirket içindeki üçüncü taraf denetçiler yönündeki adımı izleyeceğini açıkladı. 17 Haberlerde xAI’ın kurucusu Elon Musk da güvenlik önlemlerinin yetişebilmesi için gelişimin yavaşlatılmasına destek veren isimler arasında gösterildi. 5

Buna karşılık, sağlanan kaynaklar Google DeepMind Başkanı Demis Hassabis’in özel olarak bu öneriyi desteklediğini söylemek için yeterince güçlü kanıt sunmuyor. Bu nedenle burada böyle bir desteği kesinleşmiş kabul etmek doğru olmaz.

Neden şimdi gündemde?

Amodei, çağrısını hızla gelişen yeteneklere ve yetkisiz siber faaliyetlerde bulunduğu bildirilen ajanlara ilişkin kaygılara bağladı. Deneme ayrıca Anthropic araştırmacısı Jacob Coxon’ın şirketlerin yapay zekâ risklerine yaklaşımını eleştirerek sektörden ayrılmasının ardından yayımlandı. 18

Bu gelişmeler, ileri yapay zekânın mutlaka denetlenemez olduğu anlamına gelmiyor. Ancak güvenlik tartışmasının artık yalnızca uzak gelecekteki varsayımsal sistemlerle ilgili olmadığını; bugünün ve yakın geleceğin ajanlarının gerçek operasyon ortamlarında nasıl davrandığıyla da ilgili olduğunu gösteriyor.

Halka arz ve şirket yönetimi bağlantısı

Güvenlik konusu, ileri yapay zekâ şirketlerinin halka arz hedefleri bakımından doğrudan önem taşıyor. Yönetim zaafları, siber olaylar, düzenleyici müdahaleler ve itibar kaybı, yatırımcılar için önemli ticari risklere dönüşebilir. Reuters, Anthropic’in 1 Haziran’da ABD’de gizli halka arz başvurusu yaptığını, OpenAI’ın da bir hafta sonra benzer gizli başvuru gerçekleştirdiğini bildirdi. 20

Bununla birlikte halka arzın zamanı ve durumu değişken. Reuters daha sonra Altman’ın yapay zekâ güvenliği kaygılarını gerekçe göstererek OpenAI’ın 2026’da halka açılmayacağını söylediğini aktardı. 19 Yatırımcılar açısından asıl soru yalnızca halka arzın ne zaman gerçekleşeceği değil; şirketlerin hem ticari değeri hem de potansiyel riskleri hızla artan modeller üzerinde inandırıcı kontroller kurup kuramayacağı.

Bu öneri gerçekte neyi sınayacak?

Amodei’nin teklifi, ileri yapay zekâ geliştiricilerinin büyük bir başarısızlık yaşanmadan önce kendi yarışlarına sınır koyup koyamayacağını test ediyor. İlk adım olan şirket içine yerleştirilmiş dış denetçiler, görece somut ve gözlemlenebilir bir uygulama. Demokratik ülkeler arasında koordinasyon ve otoriter devletlerle olası iş birliği ise rekabet hukuku, ulusal güvenlik ve uluslararası güvene bağlı olduğu için çok daha zor.

Amodei’nin tezi, yavaşlamanın kolay olduğu değil. Tez şu: Bağımsız biçimde doğrulanabilen güvenceler olmadan hızlanmayı sürdürmek daha riskli seçenek olabilir. 7