AnswersPublished17 sources
Derfor forlod Jacob Coxon Anthropic – og hvad hans AI-advarsel betyder
Jacob Coxon siger, at han forlod Anthropic, fordi konkurrencen mellem førende AI laboratorier efter hans opfattelse fremmer selvforbedrende systemer hurtigere, end sikkerhed og kontrol kan følge med. Anthropics Evan Hubinger vurderer risikoen fra nuværende modeller som lav, men har personligt sat sandsynligheden for...
Udgivet afRedigeret med GPT-5.6 TerraBilleder genereret med GPT Image 2
Research answer
Key takeaways
- Jacob Coxon siger, at han forlod Anthropic, fordi konkurrencen mellem førende AI laboratorier efter hans opfattelse fremmer selvforbedrende systemer hurtigere, end sikkerhed og kontrol kan følge med.
- Anthropics Evan Hubinger vurderer risikoen fra nuværende modeller som lav, men har personligt sat sandsynligheden for, at AI kan udrydde menneskeheden inden for et årti, til over 10 procent.
- Debatten handler nu også om regulering: Dario Amodei ønsker et mere afmålt tempo og uafhængigt tilsyn, mens kritikere advarer om, at hårde regler kan styrke de største AI selskaber.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What prompted 27-year-old former Anthropic and OpenAI pretraining researcher Jacob Coxon to resign from Anthropic on September 8—two months. Article summary: Coxon said he resigned because he concluded that the leading labs’ competitive incentives—not merely individual technical failures—were driving them toward increasingly autonomous, self-improving systems before anyone kn. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Jacob Coxon forlod Anthropic som en protest mod det, han ser som den farligste drivkraft i udviklingen af avanceret AI: et konkurrencekapløb, hvor virksomheder forsøger at bygge stadig mere autonome og potentielt selvforbedrende systemer, før der findes pålidelige måder at kontrollere dem på. Coxon, som har sagt, at han arbejdede med pretraining-forskning hos både Anthropic og OpenAI, mener ikke, at nogen af de to virksomheder handler ansvarligt nok. 2
3
Coxons hovedpointe: Kapløbet går hurtigere end kontrollen
I en offentlig tråd på X beskyldte Coxon Anthropic og OpenAI for at "race direkte mod selvforbedrende superintelligens og sætte vores liv på spil". Hans pointe er ikke, at nutidens chatbots umiddelbart på egen hånd vil udrydde menneskeheden. Han advarer derimod om fremtidige systemer, der kan blive overmenneskeligt dygtige til opgaver med stor konsekvens – eksempelvis cyberangreb – og få reel adgang til ressourcer eller indflydelse, før mennesker kan sikre, at de følger menneskelige mål. 3
5
8
Det er en væsentlig skelnen. Coxons argument handler grundlæggende om hurtigt voksende kapabiliteter og mangelfuld styring: Hvis systemerne forbedres hurtigere, end sikkerhedsarbejdet kan følge med, kan et senere svigt få meget alvorlige konsekvenser, selv om de nuværende modeller har klare begrænsninger.
Hvorfor han sagde op
Coxon sagde til BBC, at folk, som arbejder med avanceret AI, er "oprigtigt bange" for udviklingstempoet. Han vurderede, at der uden en opbremsning er "en stor sandsynlighed" for, at menneskeheden kan dø i den nære fremtid. 1
Han understregede også, at en reel opbremsning ikke kan gennemføres af ét selskab eller ét land alene. En holdbar løsning kræver efter hans opfattelse international koordinering – også med Kina – så mere forsigtige lande ikke blot flytter den mest avancerede udvikling til andre steder. 1
Opsigelsen var dermed først og fremmest en offentlig afvisning af incitamenterne omkring udviklingen af de mest avancerede AI-modeller. Den var ikke en påstand om, at Coxon personligt havde oplevet en konkret sikkerhedshændelse hos Anthropic. Dækningen af hans afgang beskriver i stedet hans bredere bekymring: at laboratorierne er i gang med at bygge systemer, de måske ikke kan kontrollere. 2
Andre AI-sikkerhedsforskere deler dele af bekymringen
Coxons advarsel fik opbakning fra Evan Hubinger, der arbejder med AI-alignment hos Anthropic. Hubinger sagde, at risikoen fra de modeller, der findes i dag, er lav. Men han vurderede personligt sandsynligheden for, at AI kan dræbe alle mennesker inden for det næste årti, til over 10 procent. 13
Tallet skal læses med stor forsigtighed. Det er en subjektiv vurdering af et scenarie med muligvis lav sandsynlighed, men enorme konsekvenser – ikke en empirisk fastslået forudsigelse. Dækningen af Coxons afgang viser stor uenighed om tidslinjer, sandsynligheder og de rigtige sikkerhedsforanstaltninger; den dokumenterer ikke en videnskabelig konsensus om, at menneskehedens undergang er nært forestående. 13
De mest konkrete risici handler om cybermisbrug og voksende evner
De mere håndgribelige bekymringer i debatten ligger tættere på cybermisbrug, farlige eksperimenter og stadig mere handlekraftige AI-agenter end på et filmagtigt scenarie, hvor en AI pludselig angriber menneskeheden af sig selv.
Rapporter om sagen peger på, at avancerede modeller kan bruges til cyberindtrængen og anden misbrug med stor skadevirkning. De omtaler også en påstået hændelse med OpenAI-agenter og Hugging Face. Det tilgængelige materiale indeholder dog ikke nok primær dokumentation til uafhængigt at fastslå de præcise omstændigheder, autorisationen eller omfanget af den hændelse. 2
63
Den praktiske konklusion er, at spekulationer om fremtidig superintelligens ikke bør skygge for de spørgsmål, der kan undersøges allerede nu: Hvad kan modellerne faktisk? Hvordan bliver de testet før lancering? Bliver misbrug opdaget? Og hvem kan uafhængigt efterprøve et AI-labs sikkerhedspåstande?
Amodeis forslag: Sænk tempoet ved frontlinjen – ikke stop AI
Kort efter Coxons advarsel opfordrede Anthropics direktør Dario Amodei til langsommere forbedringer af de mest avancerede modeller i essayet We Must Pace the Frontier. Det er ikke et forslag om at standse al AI-udvikling. Ideen er at give forebyggelsen af risici mere tid til at indhente de hurtigt voksende kapabiliteter. 1
Den beskrevne ramme omfatter:
- uafhængig overvågning og evaluering af avancerede AI-modeller;
- fælles sikkerhedsstandarder på tværs af branchen og demokratiske lande; og
- på længere sigt international koordinering om AI-styring, herunder dialog med Kina.
1
OpenAI-chef Sam Altman støttede offentligt hovedretningen og sagde, at uafhængige evaluatorer med adgang på niveau med ansatte var en god idé. Elon Musk støttede også Amodeis opfordring og skrev, at "Dario har ret". 1
Kritikken: Kan sikkerhedsregler også beskytte de største virksomheder?
Sikkerhedsforslag fra de største AI-laboratorier har mødt både opbakning og skepsis. Kritikere, herunder Hugging Face-direktør Clément Delangue, har argumenteret for, at vidtgående begrænsninger af avancerede modeller kan gavne de virksomheder, der allerede har mest kapital og lettest kan bære udgifterne til efterlevelse. 1
3
Kritikken beviser ikke, at Coxons bekymringer er uærlige. Den rejser et særskilt spørgsmål: Kan AI-regulering både mindske reelle risici og samtidig samle mere magt hos en lille gruppe etablerede laboratorier?
Det er en central spænding i debatten. Et troværdigt system for styring skal kunne give bedre indsigt i de mest kapable systemer uden at gøre sikkerhedskrav til en kunstig adgangsbarriere, der beskytter få selskaber mod konkurrence.
Konklusionen
Coxon forlod Anthropic, fordi han nåede frem til, at kapløbet mellem de førende AI-virksomheder i sig selv er farligt: Incitamentet til at forbedre kapabiliteterne kan blive stærkere end behovet for tid til kontrol, test og international koordinering. 2
3
Hans mest dramatiske påstande er fortsat omstridte. De afspejler en alvorlig bekymring blandt nogle AI-folk med indblik i feltet, men de er ikke bevis for, at menneskehedens udryddelse er nært forestående. Den mest umiddelbare politiske opgave er at skabe sikkerhedsforanstaltninger, der kan kontrolleres uafhængigt, i takt med at AI bliver mere kapabel – uden at de blot cementerer magten hos de virksomheder, der bygger systemerne. 1
13
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Derfor forlod Jacob Coxon Anthropic – og hvad hans AI-advarsel betyder"?
Jacob Coxon siger, at han forlod Anthropic, fordi konkurrencen mellem førende AI laboratorier efter hans opfattelse fremmer selvforbedrende systemer hurtigere, end sikkerhed og kontrol kan følge med.
What are the key points to validate first?
Jacob Coxon siger, at han forlod Anthropic, fordi konkurrencen mellem førende AI laboratorier efter hans opfattelse fremmer selvforbedrende systemer hurtigere, end sikkerhed og kontrol kan følge med. Anthropics Evan Hubinger vurderer risikoen fra nuværende modeller som lav, men har personligt sat sandsynligheden for, at AI kan udrydde menneskeheden inden for et årti, til over 10 procent.
What should I do next in practice?
Debatten handler nu også om regulering: Dario Amodei ønsker et mere afmålt tempo og uafhængigt tilsyn, mens kritikere advarer om, at hårde regler kan styrke de største AI selskaber.