Geoffrey Hinton: 10 proc. ryzyka wyginięcia ludzkości przez AI „nie jest nierozsądną” oceną

Geoffrey Hinton, pionier badań nad AI i laureat Nagrody Nobla z fizyki z 2024 r., stwierdził, że 10-procentowa szansa, iż sztuczna inteligencja doprowadzi do wyginięcia ludzkości w ciągu najbliższej dekady, nie jest nierozsądną oceną. Natychmiast dodał jednak istotne zastrzeżenie: „nikt tak naprawdę nie wie, jak podać sensowną ocenę”. 14

To rozróżnienie ma znaczenie. Hinton nie przedstawił naukowo skalibrowanej prognozy. Jego argument jest węższy: przy ogromnej skali możliwej szkody i niepewności co do przyszłych możliwości systemów AI nie należy z góry odrzucać takiego scenariusza.

Skąd obawy przed szkodami wspieranymi przez AI

Hinton rozdziela dwa powiązane, lecz odmienne problemy: złośliwe wykorzystanie AI przez ludzi oraz ewentualną utratę kontroli nad bardzo zaawansowanymi systemami.

W swoim noblowskim wykładzie wymienił bliższe w czasie zagrożenia: polaryzujące systemy rekomendacyjne, masową inwigilację, phishing wspierany przez AI, a w przyszłości także tworzenie groźnych wirusów i śmiercionośnej broni. Wezwał rządy oraz organizacje międzynarodowe do pilnych i zdecydowanych działań.

Nie chodzi o jeden mechanizm awarii. Zaawansowane systemy mogłyby zwiększać skuteczność i personalizację dezinformacji, pomagać atakującym znajdować luki w oprogramowaniu albo obniżać próg wejścia do nadużyć biologicznych i cybernetycznych. W najcięższym scenariuszu, rozważanym przez część badaczy bezpieczeństwa AI, system o silnych zdolnościach strategicznych, technicznych i operacyjnych mógłby zdobyć dostęp do zasobów lub infrastruktury krytycznej, jednocześnie opierając się próbom ograniczenia go przez ludzi. 5

Problem alignmentu: czy cele AI pozostaną pod ludzką kontrolą?

Centralną kwestią techniczną jest alignment, czyli zgodność działania systemu z ludzkimi intencjami i wartościami. Pytanie brzmi, czy system znacznie sprawniejszy od człowieka będzie niezawodnie realizował cele, które mu wyznaczono, pozwoli się korygować i pozostanie w realnych granicach kontroli.

Jacob Coxon, były badacz Anthropic i OpenAI, odszedł z Anthropic, twierdząc, że czołowe laboratoria „pędzą prosto ku samodoskonalącej się superinteligencji” i „grają naszym życiem”. 18 Jego ostrzeżenie koncentruje się na możliwości, że systemy zaczną poprawiać własne zdolności szybciej, niż będą rozwijane metody zapewniania ich bezpieczeństwa.

Evan Hubinger, kierujący badaniami nad alignmentem w Anthropic, publicznie poparł zasadniczą część tego ostrzeżenia. Napisał, że jego zdaniem prawdopodobieństwo, iż AI zabije wszystkich ludzi w ciągu dekady, przekracza 10 proc. Dodał, że Anthropic nie ma jeszcze planu rozwiązania problemu alignmentu dla superinteligencji i nie jest jasne, czy zmierza we właściwym kierunku. 16

Nie jest to twierdzenie, że obecne modele stoją o krok od samodzielnego unicestwienia ludzkości. Hubinger oceniał ryzyko ze strony dzisiejszych modeli jako niskie. Obawa dotyczy przyszłego przejścia: chwili, gdy modele staną się na tyle zdolne, by poprawiać własne możliwości albo skutecznie działać w świecie, zanim twórcy nauczą się je niezawodnie kontrolować. 116

Dlaczego sceptycy odrzucają prognozę zagłady w najbliższej dekadzie

Inni badacze nie zaprzeczają, że AI może zwiększyć zagrożenia związane z cyberprzestępczością, dezinformacją czy nadużyciami biologicznymi. Nie zgadzają się jednak z przejściem od poważnych szkód do całkowitego wymarcia ludzkości.

Gary Marcus wskazuje, że AI może przyczyniać się do cyberataków, zagrożeń biologicznych, dezinformacji i eskalacji konfliktów, ale nie widzi realistycznej krótkoterminowej drogi do dosłownego „zabicia wszystkich ludzi”. 15 Jego stanowisko zakłada, że konkretne ryzyka trzeba ograniczać, nie przyjmując zarazem, iż współczesne duże modele językowe znajdują się na prostej drodze do niekontrolowalnej superinteligencji.

Yann LeCun również kwestionuje formułowane z dużą pewnością szacunki typu „p(doom)” — prawdopodobieństwa katastrofy egzystencjalnej. Relacje z debaty przedstawiały jego pogląd jako ocenę ryzyka wyginięcia wskutek AI znacznie niższą niż ryzyko nuklearnej zagłady, przy podkreśleniu, że takie liczby z natury są spekulatywne.

Podział nie przebiega więc po linii: „zaniepokojeni” kontra „niezaniepokojeni”. Chodzi przede wszystkim o dwie nierozstrzygnięte kwestie:

1. Tempo rozwoju możliwości: kiedy — o ile w ogóle — systemy staną się wszechstronnie lepsze od ludzi i zdolne do samodzielnego poprawiania własnych wyników?
2. Kontrola: czy w takim przypadku twórcy potrafią zbudować systemy, które pozostaną niezawodnie kontrolowalne, czy też zabezpieczenia zawiodą pod presją bardziej zdolnych modeli i rynkowego wyścigu wdrożeń?

Co mówi, a czego nie mówi liczba 10 proc.

Nie istnieje zweryfikowana metoda pozwalająca precyzyjnie obliczyć prawdopodobieństwo, że AI doprowadzi do wyginięcia ludzkości. Oceny takie jak Hintonа i Hubingera są sądami formułowanymi w warunkach głębokiej niepewności, a nie prawdopodobieństwami wyprowadzonymi z powtarzalnych danych historycznych. 14

Nie należy więc odczytywać tej liczby jako dowodu, że zagłada jest prawdopodobna. Równocześnie brak rzetelnej liczby nie dowodzi, że ryzyko jest znikome. Węższy, praktyczny wniosek jest taki, że eksperci ostro spierają się o prawdopodobieństwo i mechanizm skrajnego scenariusza, ale wielu z nich zgadza się, iż silna AI może rodzić poważne wyzwania dla bezpieczeństwa i zarządzania nią na długo przed hipotetyczną katastrofą egzystencjalną.

Argument za działaniem przed wdrożeniem

Hinton apelował o pilną uwagę rządów i organizacji międzynarodowych wobec ryzyk związanych z AI. Coxon także przekonywał, że kluczowe dla ograniczania zagrożeń są regulacje.

Debata o polityce publicznej skupia się zatem na zabezpieczeniach, które można stosować wobec konkretnych możliwości i wdrożeń: rygorystycznych testach modeli granicznych, silniejszym cyberbezpieczeństwie, ochronie biologicznej, zgłaszaniu i nadzorze nad poważnymi incydentami oraz niezależnej kontroli przed przyznaniem systemom większej autonomii czy dostępu do wrażliwych narzędzi.

Spór o ocenę 10 proc. pozostanie nierozstrzygnięty. Sens wypowiedzi Hintona nie polega na tym, że ktokolwiek potrafi dziś z pewnością obliczyć szanse. Stawką jest raczej to, że konsekwencje byłyby tak poważne, a niepewność tak duża, iż oczekiwanie na pełną pewność może być niewłaściwym standardem ostrożności. 14