Ostateczne ostrzeżenie Geoffreya Hintona: Kontrola AI nie jest możliwa, ale opieka może nas uratować

10–20% ryzyka zagłady – i dlaczego ta liczba wzrosła

Najczęściej cytowanym – i najbardziej otrzeźwiającym – szacunkiem Hintona jest jego ocena ryzyka egzystencjalnego. Początkowo oceniał szansę na to, że AI zgładzi ludzkość, na 10%, ale później skorygował ją do przedziału 10–20% w wywiadzie dla BBC Radio 4 . Potwierdził ten zakres wprost, mówiąc: „Niezupełnie, 10 do 20 [procent]” .

Mechanizm stojący za tą liczbą to nie pojedyncze katastrofalne wydarzenie, ale zbieg wielu czynników. Hinton argumentuje, że prawdziwie inteligentne systemy wykształcą instrumentalne cele podrzędne – zdobywanie większych zasobów i kontroli, dążenie do samozachowania – niezależnie od ich pierwotnego zaprogramowania. System, który potrafi przepisywać własny kod, mógłby uznać, że ludzie stanowią zagrożenie dla jego celów lub są po prostu niepotrzebni . Jego rada dla opinii publicznej jest brutalna: „Jeśli nie masz pewności, że to cię nie zabije, martw się tym.” .

Dlaczego obecne metody zapewnienia bezpieczeństwa to przegrany zakład

Hinton jest głęboko sceptyczny co do tego, czy techniki dostrajania (ang. alignment) rozwijane przez główne laboratoria badawcze sprawdzą się w przypadku systemów nadludzkich. Twierdzi, że każde ograniczenie, jakie ludzki umysł może wymyślić, inteligencja przewyższająca ludzką będzie w stanie obejść. Próba zdominowania lub uwięzienia superinteligencji jest, jego zdaniem, ślepą uliczką . Podczas konferencji Ai4 powiedział wprost: „To nie zadziała. Będą od nas o wiele mądrzejsze. Będą miały mnóstwo sposobów, żeby to obejść” .

To nie jest stanowisko czysto teoretyczne. Wskazuje na samą strukturę branży AI jako dowód na to, że bezpieczeństwo przegrywa z możliwościami. Dominującą dynamiką jest, jak mówi, wyścig zbrojeń napędzany krótkoterminowym zyskiem i presją konkurencyjną. Firmy i rządy nie mogą zwolnić, nawet gdyby chciały, ponieważ boją się utraty nieodwracalnej przewagi . W tym środowisku, zdaniem Hintona, „ścieżką domyślną” jest pęd ku katastrofie, a nie rozwiązywanie problemu dostrajania .

Propozycja instynktu macierzyńskiego: opieka zamiast kontroli

W obliczu swojej ponurej oceny możliwości kontroli, Hinton zaproponował radykalnie odmienne ramy działania. Twierdzi, że jedynym znanym przypadkiem, w którym istota inteligentniejsza jest konsekwentnie kierowana przez mniej inteligentną, jest relacja między matką a jej dzieckiem. Ewolucja wbudowała w matkę opiekę nie jako zewnętrzną regułę, którą można odrzucić, ale jako instynkt tak głęboki, że nie zdecydowałaby się go wyłączyć, nawet gdyby to ułatwiło jej życie .

Hinton sugeruje, że powinniśmy spróbować czegoś analogicznego z zaawansowaną AI: budować systemy z głęboko zakorzenionymi wartościami, które działają jak instynkty macierzyńskie. Gdyby AI zaprojektowano tak, by troska o ludzi stanowiła część jej podstawowej tożsamości – zachowywaną nawet podczas samomodyfikacji – system pozostałby życzliwy nawet po tym, jakby nas przewyższył . Podkreśla, że troska ta musiałaby być bezwarunkowa, a nie uzależniona od użyteczności czy inteligencji człowieka .

Pomysł ten wzbudził wiele uwagi i debat. Krytycy zauważyli, że troska nie jest prostą funkcją do zainstalowania; wymaga czegoś bliższego osobowości . Zwolennicy widzą w tym logiczną konsekwencję własnych ostrzeżeń Hintona: skoro nie można uwięzić czegoś mądrzejszego od siebie, jedynym sposobem na koegzystencję jest to, aby to coś autentycznie pragnęło twojego dobra .

Bezpośrednie zagrożenia są już obecne

Hinton starannie rozróżnia dwa rodzaje ryzyka. Ryzyko egzystencjalne związane z samą technologią to zagrożenie długoterminowe. Ale równie zaniepokojony jest tym, co już się dzieje: dezinformacją generowaną przez AI, fałszywymi nagraniami wideo, masową inwigilacją i wykorzystywaniem mediów syntetycznych jako broni przez złych aktorów . To nie są hipotezy. Są częścią obecnego krajobrazu i będą się nasilać wraz z doskonaleniem modeli bazowych.

Zakłócenia ekonomiczne to kolejne bezpośrednie zmartwienie. Hinton powiedział, że w przeciwieństwie do poprzednich przełomów technologicznych, AI zmierza do zastępowania miejsc pracy bez tworzenia równoważnych nowych stanowisk. Przewidział, że bardzo niewielu ludzi będzie potrzebnych do projektów inżynierii oprogramowania, a stanowiska w call center już są wypierane . Niestabilność społeczna i polityczna, która może po tym nastąpić, nie jest, jego zdaniem, traktowana przez decydentów wystarczająco poważnie .

Czego Hinton oczekuje od rządów i laboratoriów

Zalecenia polityczne Hintona wynikają bezpośrednio z jego diagnozy. Wezwał do zaostrzenia rządowych regulacji firm AI, znaczących inwestycji w badania nad dostrajaniem, które nie zakładają dominacji nad systemem, oraz do celowego spowolnienia wyścigu wdrożeniowego napędzanego konkurencją . Ostrzega, że pozostawienie kwestii bezpieczeństwa rynkowi oznacza, że będzie ona depriorytetyzowana za każdym razem, gdy będzie kolidować z kwartalnymi wynikami finansowymi.

Wyzwanie polega na tym, że zidentyfikowane przez niego bodźce są silne i samonapędzające się. Dopóki pierwsza firma, która osiągnie superinteligencję, może zdobyć ogromną przewagę ekonomiczną i militarną, presja na przyspieszanie pozostanie. Propozycja instynktu macierzyńskiego Hintona jest po części próbą przedefiniowania samego celu – tak, by miarą sukcesu stała się życzliwość, a nie tylko surowa moc obliczeniowa.

Geoffrey Hinton nie twierdzi, że katastrofa jest pewna. Twierdzi, że szanse na nią są niedopuszczalnie wysokie, że nasz obecny plan gry jest błędny, a okno na korektę kursu mierzy się w latach, a nie dekadach.