AnswersPublished17 sources
Därför lämnade Jacob Coxon Anthropic – och vad hans AI-varning betyder
Jacob Coxon säger att han lämnade Anthropic eftersom konkurrensen mellan ledande AI labb driver utvecklingen mot självförbättrande system snabbare än metoderna för säkerhet och kontroll hinner med. Anthropics Evan Hubinger bedömer risken från dagens modeller som låg, men har personligen uppskattat sannolikheten att...
Publicerad avRedigerad med GPT-5.6 TerraBilder genererade med GPT Image 2
Research answer
Key takeaways
- Jacob Coxon säger att han lämnade Anthropic eftersom konkurrensen mellan ledande AI labb driver utvecklingen mot självförbättrande system snabbare än metoderna för säkerhet och kontroll hinner med.
- Anthropics Evan Hubinger bedömer risken från dagens modeller som låg, men har personligen uppskattat sannolikheten att AI utplånar mänskligheten inom ett decennium till över 10 procent.
- Dario Amodei vill bromsa takten i utvecklingen av de mest avancerade modellerna och införa oberoende granskning.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What prompted 27-year-old former Anthropic and OpenAI pretraining researcher Jacob Coxon to resign from Anthropic on September 8—two months. Article summary: Coxon said he resigned because he concluded that the leading labs’ competitive incentives—not merely individual technical failures—were driving them toward increasingly autonomous, self-improving systems before anyone kn. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Jacob Coxon lämnade Anthropic som en protest mot vad han ser som en farlig dynamik i utvecklingen av avancerad AI: företag tävlar om att bygga mer autonoma och eventuellt självförbättrande system, innan det finns tillförlitliga sätt att styra dem. Coxon, som uppgett att han arbetat med forskning om förträning av modeller hos både Anthropic och OpenAI, anser att inget av bolagen agerar tillräckligt ansvarsfullt. 2
3
Coxons huvudkritik: konkurrensen springer före kontrollen
I en offentlig tråd på X anklagade Coxon Anthropic och OpenAI för att ”rusa rakt mot självförbättrande superintelligens och spela med våra liv”. Hans poäng är inte att dagens chattbotar på egen hand står inför att utrota mänskligheten. Han varnar i stället för framtida system som kan bli övermänskliga inom samhällskritiska områden, exempelvis cybersäkerhet, och få faktisk makt eller resurser innan människor på ett tillförlitligt sätt kan säkerställa att systemen följer mänskliga mål. 3
5
8
Det är en viktig skillnad. Coxons argument handlar i grunden om snabbt växande förmågor och styrning: om systemen förbättras snabbt medan säkerhetsarbetet släpar efter kan konsekvenserna av ett framtida misslyckande bli mycket allvarliga, även om dagens modeller har tydliga begränsningar.
Varför han valde att lämna
Coxon sade till BBC att människor som arbetar med avancerad AI är ”genuint rädda” för utvecklingstakten. Utan en inbromsning finns det, enligt honom, ”en stor chans” att mänskligheten kan dö ut inom en snar framtid. 1
Han menar också att en verklig inbromsning inte kan åstadkommas av ett enskilt företag eller ett enda land. För att vara hållbar skulle den, enligt Coxon, kräva internationell samordning – även med Kina – så att försiktighet i ett land inte bara flyttar den mest avancerade utvecklingen någon annanstans. 1
Hans uppsägning var därmed ett offentligt avståndstagande från drivkrafterna i utvecklingen av så kallade frontier-modeller, alltså de mest avancerade AI-modellerna. Den var inte ett påstående om att han själv bevittnat ett specifikt säkerhetsbrott hos Anthropic. Rapporteringen om avhoppet beskriver i stället hans bredare oro för en kapplöpning mot system som företagen kanske inte kan kontrollera. 2
Andra AI-forskare: stöd för oron, men inte för en säker prognos
Coxons varning fick stöd av Evan Hubinger, forskare inom AI-alignment hos Anthropic. Hubinger sade att risken från nuvarande modeller är låg, men att han personligen bedömer sannolikheten för att AI dödar alla människor inom de närmaste tio åren till över 10 procent. 13
Siffran måste tolkas med försiktighet. Det är en personlig bedömning av ett framtida scenario med låg sannolikhet men extremt stora konsekvenser – inte en empiriskt fastställd prognos. Rapporteringen visar stora meningsskiljaktigheter om tidslinjer, sannolikheter och rätt skyddsåtgärder. Den visar inte att det finns vetenskaplig samsyn om att mänsklighetens undergång är nära. 13
De närmaste riskerna: cybermissbruk och snabbare förmågeutveckling
De konkreta riskerna i diskussionen ligger närmare cybermissbruk, farliga experiment och allt mer kapabla AI-agenter än en filmisk bild av en AI som plötsligt angriper mänskligheten på egen hand.
I rapporteringen nämns farhågor om att avancerade modeller kan underlätta dataintrång och andra former av skadlig användning. Det hänvisas också till en påstådd händelse som involverade OpenAI-agenter och Hugging Face. Tillgänglig rapportering innehåller dock inte tillräckligt med primärkällmaterial för att oberoende fastställa de exakta omständigheterna, om händelsen var tillåten eller vilken omfattning den hade. 2
63
Det praktiska fokus bör därför ligga på frågor som går att pröva här och nu: vad modeller faktiskt kan göra, hur de utvärderas före lansering, om missbruk upptäcks och vem som oberoende kan kontrollera labbens säkerhetspåståenden.
Amodeis förslag: bromsa spetsen, inte stoppa AI
Kort efter Coxons varning uppmanade Anthropics vd Dario Amodei till långsammare förbättring av de mest avancerade AI-modellernas förmågor i essän We Must Pace the Frontier. Förslaget innebär inte ett generellt stopp för AI-utveckling. Tanken är att ge riskförebyggande arbete mer tid att hinna ikapp den snabba tekniska utvecklingen. 1
Det rapporterade ramverket omfattar:
- oberoende övervakning och utvärdering av frontier-modeller;
- gemensamma säkerhetsstandarder i branschen och bland demokratiska länder; samt
- framtida internationell samordning om AI-styrning, inklusive kontakt med Kina.
1
OpenAI:s vd Sam Altman stödde offentligt den övergripande inriktningen och sade att oberoende utvärderare med tillgång i nivå med anställda var en bra idé. Elon Musk ställde sig också bakom Amodeis uppmaning och skrev att ”Dario har rätt”. 1
Kritiken: kan säkerhetsregler också stärka jättarna?
Säkerhetsförslag från de största AI-labben har mött både stöd och skepsis. Kritiker, däribland Hugging Faces vd Clément Delangue, har varnat för att strikta regler för frontier-modeller kan gynna de företag som redan har mest pengar och bäst förmåga att bära kostnaderna för regelefterlevnad. 1
3
Den invändningen bevisar inte att Coxons oro är oärlig. Den väcker en separat och central fråga: kan säkerhetsregler både minska verkliga risker och samtidigt koncentrera makten hos en liten grupp etablerade AI-labb?
Ett trovärdigt system för styrning behöver alltså förbättra tillsynen över de mest kapabla systemen utan att göra säkerhetskraven till en konstgjord konkurrensfördel för ett fåtal bolag.
Slutsats
Coxon lämnade Anthropic eftersom han drog slutsatsen att kapplöpningen mellan ledande AI-företag i sig är faran: incitamenten att höja systemens förmåga kan väga tyngre än den tid som behövs för kontroll, tester och internationell samordning. 2
3
Hans mest långtgående påståenden är omstridda. De uttrycker en allvarlig oro som delas av vissa personer inom AI-branschen, men de är inte belägg för att mänsklighetens utrotning är nära förestående. Den mer omedelbara politiska uppgiften är att skapa skyddsåtgärder som går att granska oberoende för allt mer kapabla system – utan att dessa åtgärder bara befäster makten hos bolagen som bygger dem. 1
13
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Därför lämnade Jacob Coxon Anthropic – och vad hans AI-varning betyder"?
Jacob Coxon säger att han lämnade Anthropic eftersom konkurrensen mellan ledande AI labb driver utvecklingen mot självförbättrande system snabbare än metoderna för säkerhet och kontroll hinner med.
What are the key points to validate first?
Jacob Coxon säger att han lämnade Anthropic eftersom konkurrensen mellan ledande AI labb driver utvecklingen mot självförbättrande system snabbare än metoderna för säkerhet och kontroll hinner med. Anthropics Evan Hubinger bedömer risken från dagens modeller som låg, men har personligen uppskattat sannolikheten att AI utplånar mänskligheten inom ett decennium till över 10 procent.
What should I do next in practice?
Dario Amodei vill bromsa takten i utvecklingen av de mest avancerade modellerna och införa oberoende granskning.