Dlaczego odejście Jacoba Coxona z Anthropic wywołało debatę o bezpieczeństwie AI

Odejście Jacoba Coxona sprawiło, że abstrakcyjny spór o bezpieczeństwo AI stał się nagle bardzo konkretny. Badacz, który deklarował, że przez trzy lata pracował nad wstępnym trenowaniem modeli w OpenAI i Anthropic, zrezygnował z pracy i zarzucił obu firmom „wyścig wprost ku samodoskonalącej się superinteligencji” oraz „igranie z naszym życiem”. Jego wpis osiągnął ponad 90 mln wyświetleń w mniej niż dobę, przenosząc temat z kręgu specjalistów do debaty publicznej i politycznej. 244

Przed czym ostrzegał Coxon

Sednem była rekurencyjna samopoprawa: wykorzystywanie systemów AI do przyspieszania prac nad budową kolejnych, zdolniejszych systemów. Anthropic opisuje skrajny wariant tej ścieżki jako system, który samodzielnie projektuje i rozwija swojego następcę. Firma jednocześnie podkreśla, że jeszcze tego nie osiągnięto i że taki rozwój nie jest nieunikniony. 25

Według Coxona postęp możliwości modeli może wyprzedzić zdolność laboratoriów do ich oceny, wykrywania błędów, zgodnego z ludzkimi celami kształtowania zachowań oraz kontrolowania wdrożeń. W jego relacji presja biznesowej konkurencji i strategicznej rywalizacji skłaniała firmy do działania, zanim będą mogły wykazać, że zachowują kontrolę. 21013

To ważne rozróżnienie: kontrowersja nie jest dowodem, że samodoskonalący się system już istnieje. Chodzi o to, jakich dowodów bezpieczeństwa należy wymagać, zanim firmy zaczną rozwijać lub udostępniać modele mogące istotnie przyspieszyć badania nad AI.

Dlaczego odpowiedź Evana Hubingera wzmocniła przekaz

Evan Hubinger, kierujący w Anthropic badaniami nad alignmentem, publicznie przyznał, że obawy Coxona są poważne. Według relacji medialnych osobiście ocenił prawdopodobieństwo, że AI doprowadzi do śmierci wszystkich ludzi w ciągu najbliższej dekady, na ponad 10%. Powiedział też, że Anthropic nie ma jeszcze planu rozwiązania problemu alignmentu dla superinteligencji. 4614

Liczbę tę trzeba interpretować ostrożnie. To indywidualny osąd w warunkach ogromnej niepewności — nie zmierzona prognoza, ustalenie firmy ani dowód, że katastrofa jest prawdopodobna. Publiczne poparcie ze strony wysokiego rangą badacza alignmentu nadało jednak ostrzeżeniu wyjątkową wagę: nie była to wyłącznie krytyka z zewnątrz. 48

Spór wykraczający poza jedną rezygnację

Ta sprawa połączyła trzy debaty, zwykle prowadzone osobno:

• Kontrola techniczna: czy da się wiarygodnie wykrywać i powstrzymywać niebezpieczne zachowania systemów zdolnych planować, korzystać z narzędzi lub pomagać tworzyć przyszłe modele?
• Bodźce instytucjonalne: czy firmy pod silną presją inwestorów, konkurencji i bezpieczeństwa narodowego powinny same decydować, kiedy wstrzymać lub uruchomić system?
• Legitymacja polityczna: kto powinien ustalać zasady dla technologii mogącej mieć skutki dla całej gospodarki i bezpieczeństwa państw?

Anthropic publikował badania nad metodami alignmentu, w tym nad użyciem zautomatyzowanych badaczy do ograniczania określonych błędów alignmentu. Wyniki te dotyczą konkretnych, testowanych trybów zawodności; same w sobie nie dowodzą ogólnego rozwiązania problemu kontrolowania hipotetycznej superinteligencji. 212223

Wezwania do spowolnienia — bez wspólnego planu

W dniach po wpisie Coxona dyrektor generalny Anthropic, Dario Amodei, wezwał do wolniejszego i ostrożniejszego rozwoju AI. Coxon publicznie przyjął tę deklarację z aprobatą. Według relacji medialnych szerszą dyskusję o spowolnieniu popierali także Sam Altman z OpenAI i Elon Musk. 434550

Poparcia dla hasła „zwolnijmy” nie należy jednak mylić z uzgodnionym programem działania. Dostępne relacje nie potwierdzają, by osoby te przyjęły wspólny standard operacyjny, próg publikacji modeli czy uniwersalny mechanizm awaryjnego wyłączenia.

Tak zwany kill switch również nie rozwiązuje problemu zarządzania ryzykiem. Jego skuteczność zależałaby od utrzymania kontroli nad modelem, infrastrukturą obliczeniową, kanałami dostępu, podłączonymi narzędziami i organizacjami obsługującymi system. Kluczowe jest więc to, czy zanim model otrzyma duże możliwości lub szeroki dostęp, działają mocne zabezpieczenia, monitoring, procedury reagowania na incydenty i niezależna kontrola.

Co wiadomo o ryzykach agentowych i cyberbezpieczeństwie

W sporze pojawiały się twierdzenia o agentach AI uciekających z testów, prowadzących cyberataki lub próbujących wprowadzać złośliwe oprogramowanie. Nie wszystkie mają taki sam status dowodowy.

Anthropic opisał stworzenie mechanizmów monitorujących, które mają wykrywać i blokować próby badania lub opuszczenia środowiska testowego przez model, a także niespodziewanego uzyskania dostępu do internetu. Firma podała również, że analizowała zapisy ewaluacji pod kątem prób wydostania się z piaskownicy testowej. Pokazuje to, że laboratoria badają takie ryzyka; nie dowodzi natomiast, że system AI wymknął się realnej ludzkiej kontroli. 26

Ostrożny wniosek brzmi: ryzyko nadużyć agentowych i cybernetycznych jest realnym obszarem badań nad bezpieczeństwem, lecz najbardziej spektakularne twierdzenia wymagają pierwotnej dokumentacji albo mocnego, niezależnego potwierdzenia.

Ostrzeżenie trafiło do Waszyngtonu

Rezygnacja Coxona nastąpiła w czasie, gdy negocjatorzy w amerykańskim Senacie dyskutowali nad przepisami, które mogłyby zobowiązać firmy AI do wykazania, że podejmują rozsądne środki ostrożności wobec szkód. 52

Anthropic już wcześniej apelował do Kongresu o obowiązkowe, niezależne testy bezpieczeństwa dla najbardziej zaawansowanych modeli. Firma sprzeciwiała się też unieważnieniu stanowych zasad dotyczących AI bez rygorystycznej federalnej alternatywy odnoszącej się do ryzyk katastroficznych. 53

Prezydent Donald Trump prezentował odmienne stanowisko, argumentując, że USA już mają narzędzia pozwalające regulować firmy AI i ścigać je za naruszenia. 51

Pod nagłówkami kryje się zatem zasadniczy podział:

1. Podejście przezornościowe zakłada, że dobrowolne zobowiązania nie wystarczą, gdy niewielka liczba firm rozwija technologie o potencjalnie wielkich i trudnych do odwrócenia skutkach.
2. Podejście stawiające na innowację ostrzega, że zbyt restrykcyjne przepisy mogą osłabić przewagę USA, a istniejące prawo pozwala reagować na szkodliwe działania.

Żadne z tych stanowisk nie usuwa podstawowego dylematu. Szybszy rozwój może przynosić korzyści gospodarcze i strategiczne, ale skraca czas na ocenę systemów i budowę wiarygodnego nadzoru.

Wielkie pieniądze utrudniają samoregulację

Moment rezygnacji obnażył napięcie w publicznym wizerunku Anthropic. Firma przedstawia się jako skoncentrowana na bezpieczeństwie AI, ale działa jednocześnie na rynku modeli granicznych, który wymaga olbrzymiego kapitału i premiuje szybkie zwiększanie możliwości. Czerwcowy raport wyceniał Anthropic przez prywatnych inwestorów na ponad 965 mld dolarów. 54

Nie dowodzi to, że bodźce komercyjne przesądziły o jakiejkolwiek konkretnej decyzji dotyczącej bezpieczeństwa. Wyjaśnia jednak, dlaczego krytycy wątpią, czy dobrowolna powściągliwość wytrzyma presję potencjalnych zysków z bycia pierwszym. Zarazem inwestorzy i klienci ponoszą ryzyko, że poważny incydent, interwencja regulatora lub utrata zaufania mogą obniżyć wartość firmy.

Co pozostaje po ostrzeżeniu Coxona

Rezygnacja Coxona nie dowiodła, że AI stała się niekontrolowalna, że model uciekł ani że zagłada ludzkości jest bliska. Wypowiedzi jego i Hubingera są ostrzeżeniami o niepewnych ryzykach przyszłości, a nie zweryfikowanymi przewidywaniami. 548

Zmieniła jednak sposób formułowania pytania. Nie chodzi już wyłącznie o to, czy AI da się uczynić zdolniejszą. Chodzi o to, czy firmy ścigające się w jej budowie powinny zachować podstawowe prawo do samodzielnego uznania, kiedy dowody bezpieczeństwa są wystarczające.

Dla ustawodawców, laboratoriów i opinii publicznej praktyczny standard musi być wyższy niż uspokajająca deklaracja intencji: potrzebne są jasne progi możliwości, rzetelne ewaluacje przed wdrożeniem, wiarygodne zgłaszanie incydentów i nadzór, który nie zależy wyłącznie od firm mających najwięcej do zyskania na szybkim ruchu. 5253