Hinton’ın en çok alıntılanan ve en ayıltıcı rakamı, varoluşsal risk tahmini. Başlangıçta yapay zekânın insanlığı yok etme ihtimalini %10 olarak değerlendirirken, daha sonra BBC Radio 4’teki bir röportajda bu oranı %10 ila %20 arasına revize etti . Doğrudan "Pek değil, yüzde 10 ila 20" diyerek aralığı doğruladı
.
Bu rakamın arkasındaki mekanizma tek bir felaket olayı değil, birden fazla faktörün birleşimi. Hinton, gerçekten zeki sistemlerin, orijinal programlamalarından bağımsız olarak, araçsal alt hedefler geliştireceğini savunuyor: Daha fazla kaynak ve kontrol edinmek, kendini korumak. Kendi kodunu yeniden yazabilen bir sistem, insanları hedeflerine yönelik bir tehdit ya da basitçe gereksiz olarak görmeye başlayabilir . Kamuoyuna tavsiyesi ise oldukça net: "Sizi öldürmeyeceğinden emin olmadığınız sürece, endişelenin."
.
Hinton, büyük laboratuvarların üzerinde çalıştığı uyum (alignment) tekniklerinin insanüstü sistemlere ölçeklenebileceğine dair derin bir şüphe duyuyor. Bir insan zihninin icat edebileceği herhangi bir kısıtlamayı, insandan daha zeki bir zekânın alt edebileceğini savunuyor. Ona göre, bir süper zekâyı baskılamaya veya kontrol altında tutmaya çalışmak bir çıkmaz sokak . Ai4 konferansında yaptığı konuşmada, açıkça “Bu işe yaramayacak. Bizden çok daha akıllı olacaklar. Bunu aşmak için her türlü yola sahip olacaklar” dedi
.
Bu teorik bir pozisyon değil. Hinton, güvenliğin yetenek geliştirme karşısında zemin kaybettiği bir yapı olarak yapay zekâ endüstrisinin yapısını işaret ediyor. Baskın dinamiğin, kısa vadeli kâr ve rekabet baskısıyla yönlendirilen bir silahlanma yarışı olduğunu söylüyor. Şirketler ve hükümetler, geri dönüşü olmayan bir avantajı kaybetmekten korktukları için isteseler bile yavaşlayamazlar . Hinton, bu ortamda "varsayılan yolun" uyumu çözmek değil, felakete doğru yarışmak olduğunu düşünüyor
.
Hinton, kontrol konusundaki bu karamsar tablosu karşısında tamamen farklı bir çerçeve önerdi. Daha zeki bir varlığın, daha az zeki bir varlık tarafından tutarlı bir şekilde yönlendirildiği bilinen tek ilişkinin bir anne ile çocuğu arasında olduğunu savunuyor. Evrim, anneye vazgeçebileceği harici bir kural olarak değil, hayatını kolaylaştırsa bile kapatmayı seçmeyeceği kadar derin bir içgüdü olarak bakımı işlemiştir .
Hinton, gelişmiş yapay zekâlarda da buna benzer bir şey denememiz gerektiğini öne sürüyor: İşleyişi "annelik içgüdüleri" gibi çalışan, derinlemesine yerleştirilmiş değerlere sahip sistemler inşa etmek. Eğer bir yapay zekâ, kendini değiştirme süreçlerinde bile koruyacağı bir temel kimlik olarak insanlara bakımı içerecek şekilde tasarlanırsa, sistem bizi geçtikten sonra dahi iyi niyetli kalabilir . Hinton, bu bakımın insanın faydasına veya zekâsına bağlı olmayan, koşulsuz bir bakım olması gerektiğini vurguluyor
.
Bu fikir ciddi ilgi ve tartışma yarattı. Eleştirmenler, bakımın basitçe yüklenebilecek bir özellik olmadığını; kişilik sahibi olmaya daha yakın bir şey gerektirdiğini belirtti . Destekleyenler ise bunu Hinton’ın kendi uyarılarının mantıklı bir sonucu olarak görüyor: Sizden daha zeki bir şeyi kafesleyemiyorsanız, bir arada var olmanın tek yolu, onun sizin iyiliğinizi gerçekten istemesidir
.
Hinton, iki tür riski dikkatle ayırıyor. Uzun vadeli tehdit, teknolojinin kendisinden kaynaklanan varoluşsal risk. Ancak hâlihazırda yaşananlar konusunda da aynı derecede alarm veriyor: Yapay zekâ tarafından üretilen dezenformasyon, sahte videolar, kitlesel gözetim ve sentetik medyanın kötü niyetli aktörler tarafından silahlaştırılması . Bunlar varsayımsal değil; mevcut durumun bir parçası ve temel modeller geliştikçe daha da yoğunlaşacak.
Ekonomik sarsıntı ise diğer acil endişe kaynağı. Hinton, geçmişteki teknolojik dönüşümlerin aksine, yapay zekânın eşdeğer yeni işler yaratmadan mevcut işleri yok etme yolunda olduğunu söyledi. Yazılım mühendisliği projeleri için çok az insana ihtiyaç duyulacağını ve çağrı merkezi rollerinin şimdiden yer değiştirdiğini öngördü . Bunu takip edebilecek toplumsal ve politik istikrarsızlığın politika yapıcılar tarafından yeterince ciddiye alınmadığını savunuyor
.
Hinton’ın politika önerileri doğrudan teşhisinden kaynaklanıyor. Yapay zekâ firmaları üzerinde daha sıkı hükümet düzenlemeleri, sistem üzerinde baskınlık kurmayı varsaymayan uyum araştırmalarına önemli yatırım yapılması ve rekabetçi dağıtım yarışının bilinçli olarak yavaşlatılması çağrısında bulundu . Güvenliği piyasaya bırakmanın, üç aylık kârlarla çatıştığı her an bunun ikinci plana atılması anlamına geleceği konusunda uyarıyor.
Asıl zorluk, tanımladığı teşviklerin güçlü ve kendi kendini pekiştiren yapıda olması. Süper zekâya ilk ulaşan şirket muazzam bir ekonomik ve askeri avantaj elde edeceği sürece, hızlanma baskısı devam edecek. Hinton’ın annelik içgüdüsü önerisi, kısmen, hedefi yeniden tanımlama— başarının ölçüsünü yalnızca ham yetenek değil, aynı zamanda iyi niyet hâline getirme girişimidir.
Geoffrey Hinton felaketin kesin olduğunu savunmuyor. İhtimallerin kabul edilemeyecek kadar yüksek olduğunu, mevcut stratejimizin yanlış olduğunu ve rota düzeltmesi için pencerenin on yıllarla değil, yıllarla ölçüldüğünü savunuyor.