AnswersPublished17 sources
Dlaczego Jacob Coxon odszedł z Anthropic? Jego ostrzeżenie dotyczy wyścigu AI
Jacob Coxon twierdzi, że rywalizacja laboratoriów rozwijających najbardziej zaawansowaną AI przyspiesza budowę systemów zdolnych do samodoskonalenia szybciej, niż rozwijane są zabezpieczenia i metody kontroli. Evan Hubinger z Anthropic ocenił ryzyko ze strony obecnych modeli jako niskie, ale osobiście szacuje na pon...
Opublikowane przezEdytowane za pomocą GPT-5.6 TerraObrazy wygenerowane za pomocą GPT Image 2
Research answer
Key takeaways
- Jacob Coxon twierdzi, że rywalizacja laboratoriów rozwijających najbardziej zaawansowaną AI przyspiesza budowę systemów zdolnych do samodoskonalenia szybciej, niż rozwijane są zabezpieczenia i metody kontroli.
- Evan Hubinger z Anthropic ocenił ryzyko ze strony obecnych modeli jako niskie, ale osobiście szacuje na ponad 10% prawdopodobieństwo, że AI może doprowadzić do śmierci wszystkich ludzi w ciągu dekady.
- Spór ma też wymiar regulacyjny: Dario Amodei proponuje spowolnienie rozwoju modeli granicznych i niezależny nadzór, podczas gdy krytycy ostrzegają, że restrykcyjne reguły mogą umocnić największe laboratoria AI.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What prompted 27-year-old former Anthropic and OpenAI pretraining researcher Jacob Coxon to resign from Anthropic on September 8—two months. Article summary: Coxon said he resigned because he concluded that the leading labs’ competitive incentives—not merely individual technical failures—were driving them toward increasingly autonomous, self-improving systems before anyone kn. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Jacob Coxon odszedł z Anthropic, ponieważ uznał, że wiodące firmy AI uczestniczą w niebezpiecznym wyścigu. Według niego laboratoria rozwijają coraz bardziej autonomiczne, potencjalnie samodoskonalące się systemy, zanim powstaną sprawdzone sposoby ich kontrolowania. Coxon, który podawał, że zajmował się badaniami nad wstępnym treningiem modeli zarówno w Anthropic, jak i OpenAI, stwierdził, że żadna z firm nie postępuje wystarczająco odpowiedzialnie. 2
3
Sedno zarzutu: możliwości AI wyprzedzają kontrolę
W opublikowanym na platformie X wątku Coxon oskarżył Anthropic i OpenAI o „pęd prosto ku samodoskonalącej się superinteligencji i igranie z naszym życiem”. Nie twierdził przy tym, że obecne chatboty zaraz samodzielnie doprowadzą do zagłady ludzkości.
Jego ostrzeżenie dotyczy przyszłych systemów, które mogłyby przewyższać człowieka w zadaniach o dużym znaczeniu — na przykład w cyberbezpieczeństwie i działaniach ofensywnych w sieci — a następnie zyskać realny dostęp do zasobów lub wpływu, zanim ludzie nauczą się niezawodnie podporządkowywać je ludzkim celom. 3
5
8
To ważne rozróżnienie. Argument Coxona dotyczy przede wszystkim eskalacji zdolności i zasad zarządzania ryzykiem: jeśli modele będą rozwijać się szybciej niż prace nad bezpieczeństwem, konsekwencje ewentualnej porażki mogą być bardzo poważne, nawet jeśli dzisiejsze systemy są ograniczone.
Dlaczego zdecydował się odejść
W rozmowie z BBC Coxon powiedział, że osoby pracujące nad zaawansowaną AI są „naprawdę przestraszone” tempem postępu. Dodał, że bez spowolnienia rozwoju istnieje „duża szansa”, iż ludzkość może zginąć w niedalekiej przyszłości. 1
Jego zdaniem nie wystarczy jednak, by zwolniła pojedyncza firma albo jedno państwo. Trwałe rozwiązanie musiałoby opierać się na międzynarodowej koordynacji, także z udziałem Chin — tak, aby ostrożniejsze państwa nie oddawały po prostu rozwoju najpotężniejszych technologii innym graczom. 1
Rezygnacja Coxona była więc publicznym sprzeciwem wobec bodźców rządzących wyścigiem o modele graniczne, czyli najbardziej zaawansowane systemy AI. Nie była zarzutem, że osobiście był świadkiem konkretnego naruszenia zasad bezpieczeństwa w Anthropic. Opisy jego odejścia wskazują raczej na szerszą obawę przed budową systemów, nad którymi firmy mogą nie zdołać zapanować. 2
Jak zareagowali badacze bezpieczeństwa AI
Ostrzeżenie Coxona poparł Evan Hubinger, badacz zajmujący się dopasowaniem AI do ludzkich celów w Anthropic. Hubinger ocenił ryzyko związane z istniejącymi modelami jako niskie, lecz jednocześnie napisał, że osobiście przypisuje ponad 10% prawdopodobieństwa scenariuszowi, w którym AI zabije wszystkich ludzi w ciągu następnej dekady. 13
Taką liczbę należy traktować ostrożnie. To subiektywna ocena skrajnie groźnego, ale niepewnego scenariusza — nie zaś potwierdzona empirycznie prognoza. Relacje dotyczące odejścia Coxona pokazują duże różnice zdań co do harmonogramu rozwoju, prawdopodobieństwa katastrofy i właściwych zabezpieczeń. Nie dowodzą naukowego konsensusu, że zagłada ludzkości jest bliska. 13
Najbliższe ryzyka: nadużycia cybernetyczne i rosnąca autonomia
Bardziej konkretne obawy w tej debacie dotyczą nadużyć w cyberprzestrzeni, niebezpiecznych eksperymentów oraz coraz sprawniejszych agentów AI, a nie filmowego scenariusza, w którym system nagle sam atakuje ludzkość.
Relacje przywoływane w dyskusji wskazywały, że zaawansowane modele mogą wspierać włamania i inne formy nadużyć o dużej skali. Pojawiła się też informacja o rzekomym incydencie związanym z agentami OpenAI i platformą Hugging Face. Dostępne materiały nie zawierają jednak wystarczających szczegółów ze źródeł pierwotnych, by niezależnie ustalić dokładne okoliczności, zakres lub autoryzację tego zdarzenia. 2
63
W praktyce oznacza to, że spekulacje o przyszłej superinteligencji nie powinny przesłaniać pytań, które można badać już dziś: co konkretnie potrafią modele, jak są testowane przed wdrożeniem, czy wykrywa się ich nadużycia i kto niezależnie weryfikuje deklaracje laboratoriów dotyczące bezpieczeństwa.
Propozycja Amodeiego: spowolnić czołówkę, nie zatrzymać AI
Krótko po ostrzeżeniu Coxona dyrektor generalny Anthropic Dario Amodei wezwał do wolniejszego zwiększania możliwości modeli granicznych. W eseju We Must Pace the Frontier nie postulował całkowitego wstrzymania prac nad AI. Apelował o to, by tempo rozwoju dawało zabezpieczeniom czas na nadrobienie dystansu. 1
Opisywany model działania obejmował:
- niezależny monitoring i ocenę modeli granicznych;
- wspólne standardy bezpieczeństwa w branży oraz w państwach demokratycznych;
- docelowo międzynarodową koordynację zasad zarządzania AI, także z udziałem Chin.
1
Prezes OpenAI Sam Altman publicznie poparł ogólny kierunek propozycji i uznał dostęp niezależnych ewaluatorów, zbliżony do dostępu pracowników, za dobry pomysł. Elon Musk również poparł apel Amodeiego, pisząc: „Dario ma rację”. 1
Dlaczego krytycy widzą w tym problem konkurencji
Inicjatywy dotyczące bezpieczeństwa, zgłaszane przez największe laboratoria AI, budzą nie tylko poparcie, ale też sceptycyzm. Krytycy, w tym dyrektor generalny Hugging Face Clément Delangue, argumentują, że daleko idące ograniczenia dla modeli granicznych mogą faworyzować firmy, które już dziś mają najwięcej kapitału i łatwiej udźwigną koszt zgodności z przepisami. 1
3
Ta krytyka nie dowodzi, że obawy Coxona są nieszczere. Stawia jednak odrębne pytanie: czy regulacje bezpieczeństwa mogą jednocześnie ograniczać realne ryzyko i koncentrować władzę w rękach niewielkiej grupy dominujących laboratoriów?
To jedno z kluczowych napięć w obecnej debacie. Wiarygodny system nadzoru powinien wzmacniać kontrolę nad najpotężniejszymi modelami, ale nie może zamienić wymogów bezpieczeństwa w sztuczną barierę chroniącą wąskie grono firm.
Najważniejszy wniosek
Coxon odszedł, ponieważ uznał, że sam wyścig między czołowymi firmami AI jest źródłem zagrożenia: presja, by szybciej zwiększać możliwości modeli, może przeważyć nad czasem potrzebnym na kontrolę, testowanie i międzynarodową koordynację. 2
3
Jego najbardziej dramatyczne prognozy pozostają sporne. Wyrażają poważną obawę podzielaną przez część osób z branży, ale nie są dowodem, że zagłada ludzkości jest nieuchronna. Pilniejszym wyzwaniem dla polityki publicznej jest stworzenie niezależnie weryfikowalnych zabezpieczeń dla coraz sprawniejszych systemów — bez utrwalania przewagi firm, które je budują. 1
13
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Dlaczego Jacob Coxon odszedł z Anthropic? Jego ostrzeżenie dotyczy wyścigu AI"?
Jacob Coxon twierdzi, że rywalizacja laboratoriów rozwijających najbardziej zaawansowaną AI przyspiesza budowę systemów zdolnych do samodoskonalenia szybciej, niż rozwijane są zabezpieczenia i metody kontroli.
What are the key points to validate first?
Jacob Coxon twierdzi, że rywalizacja laboratoriów rozwijających najbardziej zaawansowaną AI przyspiesza budowę systemów zdolnych do samodoskonalenia szybciej, niż rozwijane są zabezpieczenia i metody kontroli. Evan Hubinger z Anthropic ocenił ryzyko ze strony obecnych modeli jako niskie, ale osobiście szacuje na ponad 10% prawdopodobieństwo, że AI może doprowadzić do śmierci wszystkich ludzi w ciągu dekady.
What should I do next in practice?
Spór ma też wymiar regulacyjny: Dario Amodei proponuje spowolnienie rozwoju modeli granicznych i niezależny nadzór, podczas gdy krytycy ostrzegają, że restrykcyjne reguły mogą umocnić największe laboratoria AI.