Hinton’a göre yapay zekânın insanlığı yok etme riski yüzde 10 olabilir mi?

Hinton’un söylediği şey, yapay zekânın önümüzdeki on yılda insanlığın yok olmasına yol açma ihtimalinin yüzde 10 olmasının “mantıksız olmadığı”ydı. Ancak aynı cümlede çok önemli bir sınır çizdi: “Makul bir tahminin nasıl yapılacağını gerçekten kimse bilmiyor.” 14

Bu nedenle söz konusu oran, ölçülmüş ve bilimsel olarak kalibre edilmiş bir öngörü değil. Hinton’un vurgusu, gelecekteki sistemlerin ne kadar yetenekli olacağının ve denetlenebilir kalıp kalamayacağının bilinmediği bir ortamda, bu ihtimali peşinen sıfır saymanın doğru olmayacağı yönünde.

Hinton’un kaygısı: Kötüye kullanım ve denetim kaybı

Hinton, iki farklı riski birbirinden ayırıyor: İnsanların yapay zekâyı kötü amaçla kullanması ve çok yetenekli yapay zekâ sistemlerinin zamanla insan denetiminden çıkması.

Nobel konuşmasında, kutuplaştırıcı öneri sistemleri, kitlesel gözetim ve yapay zekâ destekli oltalama saldırıları gibi mevcut risklere işaret etti. Yapay zekânın ileride tehlikeli virüslerin ve kimin öldürüleceğine ya da sakat bırakılacağına karar veren ölümcül silahların geliştirilmesinde kullanılabileceği uyarısını yaptı; hükümetler ile uluslararası kuruluşların acil ve güçlü biçimde harekete geçmesi gerektiğini söyledi.

En ağır senaryoda, yapay zekâ güvenliği savunucularına göre güçlü stratejik, teknik ve operasyonel beceriler kazanan bir sistem; kaynaklara ya da kritik altyapılara erişim sağlayabilir ve insanların onu sınırlama girişimlerine direnebilir. Bu, bugünkü modellerin kendi başına insanlığı yok etmenin eşiğinde olduğu iddiası değil; gelecekte ortaya çıkabilecek yetenek sıçramasına ilişkin bir endişe. 5

Tartışmanın merkezinde “hizalama” sorunu var

Buradaki teknik mesele hizalama: İnsanlardan çok daha yetenekli bir sistemin, insanın amaçladığı hedefleri güvenilir biçimde izlemesinin; düzeltilebilir ve anlamlı sınırlar içinde tutulabilmesinin mümkün olup olmadığı.

Eski Anthropic ve OpenAI araştırmacısı Jacob Coxon, Anthropic’ten ayrılırken önde gelen laboratuvarların “kendi kendini geliştiren süper zekâya doğru yarıştığını” ve “hayatlarımızla kumar oynadığını” savundu. Coxon’ın kaygısı, sistemlerin yeteneklerini güvenlik yöntemlerinin gelişiminden daha hızlı artırabilecek bir noktaya gelmesi. 18

Anthropic’in hizalama bilimi lideri Evan Hubinger de bu temel uyarıyı kamuoyu önünde destekledi. Hubinger, yapay zekânın önümüzdeki on yılda bütün insanları öldürme ihtimalinin kendi görüşüne göre yüzde 10’un üzerinde olduğunu belirtti. Ayrıca Anthropic’in süper zekâ için hizalama sorununu çözmeye yönelik henüz bir planı olmadığını ve bu hedefe doğru açık biçimde ilerlemediğini söyledi. 16

Hubinger’a göre mevcut modellerin riski düşük. Endişe, modellerin kendilerini geliştirecek veya gerçek dünyada etkili eylemlerde bulunacak kadar yetkinleşmesinden önce, geliştiricilerin onları güvenilir biçimde kontrol etmenin yolunu bulamaması. 116

Şüpheciler neden yakın vadeli yok oluş tahminine katılmıyor?

Diğer araştırmacılar, yapay zekânın siber suçları, dezenformasyonu ve biyolojik kötüye kullanımı daha tehlikeli kılabileceğini reddetmiyor. Ayrışma, ciddi zararlardan insanlığın tümden yok oluşuna uzanan çıkarımda başlıyor.

Yapay zekâ araştırmacısı Gary Marcus, teknolojinin siber saldırılara, biyolojik tehditlere, dezenformasyona ve çatışmaların tırmanmasına katkıda bulunabileceğini kabul ediyor. Buna karşılık, yakın vadede “bütün insanları öldürmeye” götüren gerçekçi bir yol görmediğini belirtiyor. 15

Yann LeCun da yüksek kesinlik taşıyan “p(doom)” — yani yapay zekâ kaynaklı felaket olasılığı — tahminlerine kuşkuyla yaklaşıyor. Bu tartışmaya ilişkin haberlerde LeCun’un görüşü, yapay zekâ kaynaklı insanlığın yok oluşu riskinin nükleer bir kıyamet riskinden çok daha düşük olduğu yönünde aktarıldı; fakat bu tür oranların doğası gereği spekülatif olduğunu da vurguluyor.

Bu yüzden ayrım, basitçe “endişeliler” ve “endişesizler” arasında değil. İki açık soruda yatıyor:

1. Yetenek takvimi: Sistemler ne zaman, hatta gerçekten bir gün, geniş kapsamda insanüstü hâle gelip kendi performanslarını geliştirebilir?
2. Kontrol: Böyle bir aşamaya gelinirse geliştiriciler bu sistemleri güvenilir biçimde denetleyebilir mi, yoksa güvenlik önlemleri daha yetenekli modeller ve rekabetçi yaygınlaştırma baskısı karşısında yetersiz mi kalır?

Yüzde 10 ne anlatır, ne anlatmaz?

Yapay zekânın insanlığın yok olmasına yol açma ihtimali için kesin bir yüzde hesaplayan, doğrulanmış bir yöntem yok. Hinton ve Hubinger’ın oranları, tekrarlanabilir tarihsel verilere dayalı istatistiksel sonuçlar değil; derin belirsizlik altında yapılmış uzman değerlendirmeleri. 14

Dolayısıyla bu sayı, yok oluşun muhtemel olduğunun kanıtı olarak okunmamalı. Öte yandan güvenilir bir sayı olmaması da riskin önemsiz olduğu anlamına gelmez. Daha dar ve somut çıkarım şu: Uzmanlar olasılık ve mekanizmalar konusunda keskin biçimde anlaşamıyor; ancak güçlü yapay zekânın, varsayımsal bir yok oluş senaryosundan çok önce ciddi güvenlik ve yönetişim sorunları doğurabileceği konusunda geniş bir mutabakat var.

Politika tartışması: Dağıtımdan önce güvenlik önlemleri

Hinton, yapay zekâ riskleri konusunda hükümetlerin ve uluslararası kuruluşların acilen harekete geçmesini istedi. Coxon da tehlikeyi azaltmak için düzenlemenin merkezi önem taşıdığını savundu.

Bu nedenle politika tartışması, somut yetenekler ve kullanım biçimleri üzerinde uygulanabilecek önlemlere odaklanıyor: en ileri modellerin titiz değerlendirmelerden geçirilmesi, daha güçlü siber güvenlik ve biyogüvenlik korumaları, ciddi olayların bildirilmesi, ayrıca sistemlere daha fazla özerklik veya hassas araçlara erişim verilmeden önce bağımsız inceleme yapılması.

Yüzde 10’luk tahmin üzerindeki anlaşmazlık sürecek. Hinton’un temel mesajı, olasılığı kimsenin güvenle hesaplayamayacağı; ancak riskin etkisi çok büyük, belirsizlik de çok geniş olduğu için kesinliği beklemenin tedbir almak adına yanlış bir eşik olabileceği. 14