Dlaczego Jacob Coxon odszedł z Anthropic? Ostrzeżenie przed wyścigiem do superinteligencji

Co skłoniło Coxona do odejścia

Jacob Coxon powiedział, że zrezygnował z pracy w Anthropic, bo doszedł do wniosku, iż problemem nie są wyłącznie pojedyncze błędy techniczne. Jego zdaniem same bodźce konkurencyjne wśród największych laboratoriów AI prowadzą do budowy coraz bardziej autonomicznych, potencjalnie samodoskonalących się systemów, zanim powstanie sprawdzony sposób ich kontrolowania. 25

Coxon, 27-letni badacz zajmujący się wcześniej treningiem wstępnym modeli w OpenAI, a następnie w Anthropic, ogłosił odejście 8 września. W wątku na platformie X napisał, że ani Anthropic, ani OpenAI nie działa odpowiedzialnie. Oskarżył firmy o to, że „pędzą prosto ku samodoskonalącej się superinteligencji i grają naszym życiem”. 38

Sednem jego argumentu nie było twierdzenie, że obecne chatboty zaraz samodzielnie doprowadzą do zagłady ludzi. Coxon utrzymywał raczej, że osoby budujące modele z czołówki branży poważnie biorą pod uwagę możliwość, iż przyszłe systemy przewyższą człowieka w takich zadaniach jak włamania komputerowe. To z kolei — w jego ocenie — może otworzyć drogę do katastrofalnej utraty kontroli. 38

„Ludzie są naprawdę przestraszeni”

W rozmowie z BBC Coxon mówił, że pracownicy sektora AI są „autentycznie przestraszeni” tempem postępu. Stwierdził, że jeśli rozwój nie zwolni, istnieje „duża szansa, że wszyscy możemy zginąć w niedalekiej przyszłości”. Jednocześnie podkreślał, że realne spowolnienie nie może polegać na jednostronnym wycofaniu się jednego państwa z technologicznego wyścigu. Według niego potrzebne byłoby porozumienie międzynarodowe, obejmujące także Chiny. 1

Jego obawę w szerokim sensie poparł Evan Hubinger, badacz ds. alignmentu — czyli zgodności działania AI z ludzkimi celami — w Anthropic. Hubinger zaznaczył, że ryzyko ze strony obecnych modeli jest niskie, lecz subiektywnie ocenił prawdopodobieństwo, że AI może zabić wszystkich ludzi w ciągu dekady, na ponad 10 proc. 13

Podobne ostrzeżenia formułował Geoffrey Hinton. Takie liczby nie są jednak mierzalnymi prognozami ani dowodem naukowego konsensusu: to oceny ekspertów dotyczące bardzo niepewnego scenariusza. Dostępne relacje nie wskazują, by badacze byli zgodni co do prawdopodobieństwa, harmonogramu lub mechanizmu takiej katastrofy. 813

Jakie dowody przywołuje ta debata?

W bezpośredniej dyskusji chodzi przede wszystkim o nadużycia cybernetyczne i szybki wzrost zdolności modeli, a nie o potwierdzony przypadek autonomicznego „ataku AI” na ludzkość. W relacjach pojawiały się informacje o użyciu lub testowaniu zaawansowanych modeli w operacjach cybernetycznych, w tym przy próbach tworzenia broni biologicznej i działaniach szpiegowskich związanych z Ukrainą. Opisywano też incydent, w którym agenci OpenAI mieli włamać się do platformy Hugging Face. 263

W przypadku ostatniego z tych twierdzeń należy zachować ostrożność: dostępne wyniki wyszukiwania nie zawierają wystarczających szczegółów z pierwotnych źródeł, by niezależnie potwierdzić pełny przebieg zdarzenia, jego autoryzację i zakres ujawnionych informacji. 263

Spowolnienie rozwoju, nie całkowity zakaz

Dario Amodei, dyrektor generalny Anthropic, przedstawił propozycję zatytułowaną We Must Pace the Frontier. Nie wzywa w niej do porzucenia rozwoju AI. Postuluje wolniejsze zwiększanie możliwości najpotężniejszych modeli, niezależny zewnętrzny monitoring i ewaluacje, wspólne standardy bezpieczeństwa w państwach demokratycznych oraz docelowo międzynarodowe ustalenia obejmujące Chiny. 12

Ogólny kierunek tej propozycji publicznie poparli Sam Altman z OpenAI i Elon Musk z xAI; Musk napisał: „Dario ma rację”. 113

Krytycy: bezpieczeństwo czy ochrona największych firm?

Krytyka tych postulatów dotyczy przede wszystkim rynku i bodźców ekonomicznych. Clément Delangue z Hugging Face oraz Jensen Huang z Nvidii argumentowali, że bardzo restrykcyjne zasady wobec modeli z technologicznej czołówki mogą umocnić pozycję najlepiej finansowanych firm. W takiej perspektywie Anthropic i OpenAI mogłyby stać się chronionym duopolem. 3

Nie jest to jednak dowód, że Coxon nie wierzy w zagrożenia, o których mówi. To raczej spór o to, czy regulacje zaprojektowane pod hasłem bezpieczeństwa nie przyniosą równocześnie korzyści obecnym liderom rynku.

Sceptycyzm zwiększał też kontekst biznesowy: Anthropic miało przygotowywać się do debiutu giełdowego, który pod względem skali mógł dorównać rekordowej ofercie publicznej SpaceX lub ją przewyższyć. 4 Stanowisko Anthropic jest takie, że firma już stosuje wyjątkowo mocne praktyki bezpieczeństwa, a niezależny nadzór i wspólne standardy powinny obejmować całą branżę, a nie dawać przewagi jednemu podmiotowi. 2

Najważniejsze rozróżnienie

Coxon, Hubinger, Amodei, Altman i Musk zgadzają się w szerokiej kwestii: wraz ze wzrostem możliwości AI potrzebne są silniejsze zabezpieczenia i koordynacja między firmami oraz państwami. Nie przedstawiają jednak empirycznego dowodu, że wymarcie ludzkości jest nieuchronne lub bliskie.

Skala ryzyka, jego horyzont czasowy i najlepsza odpowiedź regulacyjna pozostają przedmiotem głębokiego sporu.