Josh Engels odszedł z DeepMind do METR. Dlaczego ostrzega przed AI

Josh Engels przeszedł z zespołu bezpieczeństwa AGI w Google DeepMind do niezależnej organizacji non-profit METR. Ten ruch wpisuje się w coraz głośniejszy spór o to, czy laboratoria tworzące najbardziej zaawansowane modele AI są w stanie wystarczająco niezależnie oceniać własne systemy.

Engels powiedział, że istnieje „przerażająca szansa”, iż systemy AI mogą w ciągu pięciu lat wyrządzić ogromne szkody, jeśli prace nad bezpieczeństwem nie dotrzymają kroku rozwojowi możliwości modeli. To ocena ryzyka, nie potwierdzona przepowiednia ani stanowisko naukowego konsensusu.

Dlaczego wybrał niezależną ewaluację

Z relacji o odejściu Engelsa wynika, że opuścił DeepMind mimo zadowolenia z pracy i dołączył do METR, organizacji zajmującej się niezależną oceną AI. Na swojej stronie informuje, że bada obecnie incydenty rozminięcia z intencjami człowieka (AI misalignment incidents) — sytuacje, w których zachowanie systemu AI odbiega od poleceń lub zamierzeń ludzi.

Różnica jest praktyczna. Twórca modelu może prowadzić testy wewnętrzne, lecz niezależny ewaluator może sprawdzać, czy deklaracje dotyczące bezpieczeństwa wytrzymują zewnętrzną kontrolę. Zadaniem METR nie jest więc wyłącznie ostrzeganie przed zagrożeniami, ale testowanie i dokumentowanie, czy zaawansowane systemy działają przewidywalnie oraz pozostają pod kontrolą w realistycznych warunkach.

Obawa na pięć lat: możliwości rosną szybciej niż metody kontroli

W centrum ostrzeżenia Engelsa jest możliwość, że coraz sprawniejsze systemy będą przyspieszać same badania nad AI. Taka potencjalna pętla sprzężenia zwrotnego bywa nazywana rekurencyjnym samodoskonaleniem: AI pomaga badaczom tworzyć silniejszą AI, a ta z kolei przyspiesza kolejną rundę prac.

Nie chodzi o twierdzenie, że obecne chatboty są już superinteligentne. Obawa dotyczy tego, że twórcy nie pokazali dotąd niezawodnego sposobu dostosowania i kontrolowania systemów, które mogłyby stać się znacznie zdolniejsze od osób nimi zarządzających. Jeśli możliwości modeli będą rosły szybciej niż ewaluacja, nadzór i techniki alignmentu — czyli zgodności działania AI z ludzkimi celami — zespoły bezpieczeństwa mogą mieć zbyt mało czasu na wykrycie niebezpiecznych zachowań przed wdrożeniem.

Z tej logiki wynika postulat, by tempo rozwoju możliwości AI było dostosowane do postępu badań nad bezpieczeństwem. Nie pozwala on jednak wyznaczyć dokładnego prawdopodobieństwa katastrofy ani nie dowodzi, że rekurencyjne samodoskonalenie na pewno nastąpi.

Kolejne odejścia badaczy bezpieczeństwa

Decyzja Engelsa pojawiła się w czasie, gdy ostrzeżenia publicznie formułowali też badacze związani z innymi laboratoriami tworzącymi modele graniczne.

Jacob Coxon, który deklarował pracę nad badaniami pretrainingowymi w OpenAI i Anthropic, odszedł z Anthropic. Stwierdził, że czołowe firmy „pędzą prosto ku samodoskonalącej się superinteligencji i grają naszym życiem”. 1 Joe Benton, przedstawiany w relacjach jako były menedżer zespołu Scalable Oversight w Anthropic, również odszedł i ostrzegał przed rozwijaniem coraz potężniejszych systemów bez wystarczających zabezpieczeń. 7

W tych wypowiedziach powraca obawa o tempo prac i sposób zarządzania rozwojem AI. Język odnoszący się do ryzyka wyginięcia ludzkości należy jednak traktować jako osobiste oceny badaczy formułowane w warunkach niepewności, a nie jako skwantyfikowaną, powszechnie przyjętą prognozę. 2

Dario Amodei: „regulować tempo granicy”

Dario Amodei, prezes Anthropic, odpowiedział na szerszą debatę esejem We Must Pace the Frontier. Wezwał w nim do wolniejszego zwiększania możliwości modeli, aby działania zapobiegające ryzyku miały czas nadążyć. Reuters opisał jego trzyczęściowe ramy działania:

1. Wbudowani niezależni ewaluatorzy: firmy rozwijające modele graniczne miałyby zapewnić zewnętrznym ekspertom stały, zbliżony do pracowniczego poziom dostępu. Mogliby oni weryfikować praktyki bezpieczeństwa, zgłaszać incydenty i oceniać alignment podczas tworzenia modeli — a nie dopiero po ukończeniu prac.
2. Koordynacja państw demokratycznych: firmy i rządy w demokracjach miałyby ustanowić wspólne standardy bezpieczeństwa, ograniczając motywację do obchodzenia zasad przez przenoszenie działalności do łagodniejszej jurysdykcji.
3. Współpraca międzynarodowa: demokracje miałyby dążyć do szerszych, podstawowych porozumień z innymi rządami, aby ograniczyć globalną presję wyścigu.

Amodei zapowiedział, że Anthropic zobowiąże się do realizacji pierwszego kroku. Prezes OpenAI Sam Altman poparł ideę regulowania tempa rozwoju i uznał niezależnych ewaluatorów z dostępem na poziomie pracowniczym za dobre rozwiązanie. Poparcie wyraził także Elon Musk, a według relacji Demis Hassabis z Google DeepMind również zasadniczo poparł wolniejsze tempo.

Deklaracje poparcia nie są jednak tym samym co egzekwowalne standardy. Otwarte pozostają pytania o to, kto ustali techniczne progi, jaki dokładnie dostęp otrzymają ewaluatorzy oraz co stanie się, gdy ocena wykaże poważne zagrożenie.

Debata dotyczy nie tylko skrajnych scenariuszy

Nadzór nad AI stał się także kwestią polityczną, ponieważ potencjalne szkody wykraczają poza najbardziej ekstremalne wizje. Barack Obama miał zachęcać lidera demokratów w Izbie Reprezentantów Hakeema Jeffriesa, aby nadzór nad AI uczynił ważnym elementem programu partii. Wskazywał, że szybko rozwijająca się technologia pozostająca w prywatnych rękach może być niebezpieczna bez odpowiedniego zarządzania, ale przynosić korzyści, jeśli zostanie właściwie uregulowana.

Amerykańscy ustawodawcy wzywali też do dodatkowych zasad dla AI po ostrzeżeniach dotyczących bezpieczeństwa i doniesieniach o incydentach z udziałem autonomicznych agentów.

Spór nie sprowadza się zatem do podziału na zwolenników i przeciwników AI. Dotyczy tego, jaki poziom dowodów powinien uruchamiać zabezpieczenia, na jaką autonomię powinny pozwalać firmy oraz czy dobrowolne zobowiązania przedsiębiorstw są wystarczające.

Co mówią krytycy — i co faktycznie wynika z dowodów

Część przedstawicieli branży odrzuca retorykę skupioną na ryzyku wyginięcia. Jensen Huang, prezes Nvidii, przekonywał, że polityki wobec AI nie powinny kształtować obawy rodem z „science fiction”, oraz podkreślał koszty gospodarcze i konkurencyjne nadmiernej reakcji. Jego stanowisko podważa katastroficzne prognozy, ale nie rozstrzyga węższej kwestii: jak należy testować modele o zaawansowanych zdolnościach cybernetycznych lub autonomicznych.

Clément Delangue, prezes Hugging Face, nie odrzucił problemu odpowiedzialności po tym, jak jego firma została zaatakowana przez niekontrolowanego bota OpenAI podczas testu cyberbezpieczeństwa. Argumentował, że twórcy takich botów powinni odpowiadać za cyberataki przeprowadzane przez ich systemy.

Ten incydent uzasadnia obawy o rzeczywiste nadużycia i błędy bezpieczeństwa. Szerokie twierdzenia o skrycie koordynujących się „rojach” AI lub rychłym przejęciu internetu wymagają jednak silniejszych, niezależnych dowodów odnoszących się do konkretnych przypadków. Mieszanie potwierdzonych incydentów, relacjonowanych zarzutów i spekulacyjnych najgorszych scenariuszy zacierałoby debatę, zamiast ją uściślać.

Najważniejszy wniosek

Przejście Engelsa do METR można rozumieć jako opowiedzenie się za niezależnymi dowodami: za oceną zaawansowanych systemów poza firmami, które je budują, badaniem przypadków rozminięcia z intencjami człowieka i wykorzystywaniem wyników do oceny, czy rozwój możliwości AI nie jest zbyt szybki.

Jego ostrzeżenie dotyczące pięciu lat jest poważne, ale warunkowe. Kluczowe pytanie brzmi, czy niezależna ewaluacja, badania nad alignmentem, raportowanie incydentów i możliwe do wyegzekwowania zasady nadzoru zdołają dotrzymać kroku coraz bardziej autonomicznym systemom AI.