AnswersPublished17 sources
Derfor sluttet Jacob Coxon i Anthropic – og hva AI-advarselen hans betyr
Jacob Coxon sier han forlot Anthropic fordi konkurransen mellom de ledende AI laboratoriene driver utviklingen av selvforbedrende systemer raskere enn sikkerhets og kontrollarbeidet klarer å følge. Anthropic forskeren Evan Hubinger mener risikoen fra dagens modeller er lav, men har personlig anslått til over 10 pros...
Publisert avRedigert med GPT-5.6 TerraBilder generert med GPT Image 2
Research answer
Key takeaways
- Jacob Coxon sier han forlot Anthropic fordi konkurransen mellom de ledende AI laboratoriene driver utviklingen av selvforbedrende systemer raskere enn sikkerhets og kontrollarbeidet klarer å følge.
- Anthropic forskeren Evan Hubinger mener risikoen fra dagens modeller er lav, men har personlig anslått til over 10 prosent at AI kan utrydde menneskeheten i løpet av det neste tiåret.
- Debatten har også blitt en reguleringsstrid: Dario Amodei vil bremse utviklingen av de mest avanserte modellene og innføre uavhengig tilsyn, mens kritikere frykter at strenge regler kan styrke de største AI selskapene.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What prompted 27-year-old former Anthropic and OpenAI pretraining researcher Jacob Coxon to resign from Anthropic on September 8—two months. Article summary: Coxon said he resigned because he concluded that the leading labs’ competitive incentives—not merely individual technical failures—were driving them toward increasingly autonomous, self-improving systems before anyone kn. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Jacob Coxon sluttet i Anthropic som en protest mot det han mener er en farlig dynamikk i utviklingen av den mest avanserte kunstige intelligensen. Ifølge Coxon konkurrerer selskapene om å bygge mer autonome og potensielt selvforbedrende systemer før det finnes pålitelige metoder for å kontrollere dem. Han har sagt at han arbeidet med pretreningsforskning både i Anthropic og OpenAI, og anklaget begge for å handle for lite ansvarlig. 2
3
Hovedanklagen: Kappløpet går raskere enn kontrollen
I en offentlig tråd på X skrev Coxon at Anthropic og OpenAI «racer rett mot selvforbedrende superintelligens og spiller med livene våre». Poenget hans var ikke at dagens chatbotter straks vil kunne utslette menneskeheten på egen hånd. Han advarte derimot om framtidige systemer som kan bli overmenneskelig gode i oppgaver med store konsekvenser – blant annet innen cybersikkerhet – og skaffe seg reell innflytelse eller ressurser før mennesker kan sørge for at systemene følger menneskelige mål. 3
5
8
Dette skillet er viktig. Coxons argument handler først og fremst om raskt økende kapasitet og manglende styring: Dersom systemene blir langt bedre raskere enn sikkerhetsarbeidet utvikler seg, kan en feil få alvorlige følger – selv om dagens modeller fortsatt har klare begrensninger.
Hvorfor han valgte å gå
Coxon sa til BBC at folk som arbeider med avansert AI, var «oppriktig redde» for utviklingstempoet. Uten en nedbremsing mente han at det var «stor sjanse» for at menneskeheten kunne dø ut i nær framtid. 1
Han argumenterte også for at én bedrift eller ett land ikke kan løse dette alene. En varig oppbremsing må etter hans syn koordineres internasjonalt, også med Kina, slik at mer forsiktige aktører ikke bare skyver den mest avanserte utviklingen til andre steder. 1
Oppsigelsen hans var dermed først og fremst en offentlig avvisning av insentivene rundt utviklingen av grensemodeller – de kraftigste AI-modellene – og ikke en påstand om at han personlig hadde sett et bestemt sikkerhetsbrudd i Anthropic. Omtalen av avgangen beskriver bekymringen hans som et kappløp om systemer selskapene kanskje ikke vil kunne kontrollere. 2
Andre sikkerhetsforskere: Støtte, men ingen sikker prognose
Advarselen fikk støtte fra Evan Hubinger, en forsker på såkalt alignment i Anthropic. Alignment handler om å få AI-systemer til å oppføre seg i tråd med menneskelige hensikter og sikkerhetskrav. Hubinger sa at risikoen fra dagens modeller er lav, men at han personlig vurderer sannsynligheten for at AI kan drepe alle mennesker innen ti år til over 10 prosent. 13
Tallet må tolkes med varsomhet. Det er en individuell vurdering av et scenario med lav sannsynlighet og svært store konsekvenser, ikke en vitenskapelig fastslått prognose. Rapporteringen viser betydelig uenighet om tidshorisont, sannsynlighet og hvilke sikkerhetstiltak som virker. Den dokumenterer ikke en forskningskonsensus om at menneskelig utryddelse er nært forestående. 13
De mer konkrete risikoene handler om cybermisbruk
De mest håndfaste bekymringene i denne diskusjonen ligger nærmere cybermisbruk, farlige eksperimenter og stadig mer kapable AI-agenter enn et filmaktig scenario der en AI plutselig angriper menneskeheten på egen hånd.
Rapporteringen om debatten har vist til fare for at avanserte modeller kan hjelpe til med dataangrep og annen skadelig bruk. Den omtalte også en påstått hendelse som involverte OpenAI-agenter og Hugging Face. Det foreliggende materialet gir imidlertid ikke nok primærkildedetaljer til å fastslå de presise omstendighetene, om hendelsen var autorisert, eller hvor omfattende den var. 2
63
Det praktiske spørsmålet er derfor ikke bare hva superintelligent AI kan gjøre en gang i framtiden. Det er også hva dagens og morgendagens modeller faktisk kan brukes til, hvordan de testes før lansering, om misbruk oppdages, og hvem som kan kontrollere selskapenes sikkerhetspåstander uavhengig.
Amodeis forslag: Brems utviklingen i toppen, ikke stans AI
Kort etter Coxons utspill ba Anthropics toppsjef Dario Amodei om langsommere framgang for de mest avanserte modellene i essayet We Must Pace the Frontier. Det var ikke et krav om å stoppe AI-utvikling, men om å gi forebygging av risiko tid til å holde tritt med raskt voksende kapasitet. 1
Det omtalte rammeverket inneholdt blant annet:
- uavhengig overvåking og evaluering av grensemodeller;
- felles sikkerhetsstandarder i bransjen og blant demokratiske land; og
- etter hvert internasjonal koordinering om AI-styring, inkludert dialog med Kina.
1
OpenAI-sjef Sam Altman støttet offentlig hovedretningen og sa at uavhengige evaluatorer med tilgang på nivå med ansatte var en god idé. Elon Musk støttet også Amodeis oppfordring og skrev at «Dario har rett». 1
Kritikken: Kan sikkerhetsregler også beskytte de største?
Sikkerhetsforslag fra de største AI-laboratoriene har møtt både støtte og skepsis. Kritikere, blant dem Hugging Face-sjef Clément Delangue, har argumentert for at strenge begrensninger for grensemodeller kan favorisere selskapene som allerede har mest kapital og best evne til å bære kostnadene ved etterlevelse. 1
3
Kritikken beviser ikke at Coxons bekymringer er uoppriktige. Den reiser et annet spørsmål: Kan regulering både redusere reell risiko og samtidig samle mer makt hos et lite antall etablerte AI-selskaper?
Dette er kjernen i konflikten. Et troverdig system må føre til bedre kontroll med de mest kapable modellene, uten at sikkerhetskravene blir en kunstig vollgrav rundt et fåtall selskaper.
Kort oppsummert
Coxon sluttet fordi han mener at selve kappløpet mellom ledende AI-selskaper er faren: Insentivene til å øke kapasiteten kan bli sterkere enn viljen til å bruke tid på kontroll, testing og internasjonal koordinering. 2
3
De mest dramatiske påstandene hans er omstridt. De uttrykker en alvorlig bekymring som deles av enkelte personer i AI-miljøet, men er ikke bevis for at menneskehetens utryddelse er nært forestående. Den mer umiddelbare utfordringen er å etablere sikkerhetstiltak som kan etterprøves uavhengig for stadig kraftigere systemer – uten at tiltakene bare sementerer makten til selskapene som bygger dem. 1
13
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Derfor sluttet Jacob Coxon i Anthropic – og hva AI-advarselen hans betyr"?
Jacob Coxon sier han forlot Anthropic fordi konkurransen mellom de ledende AI laboratoriene driver utviklingen av selvforbedrende systemer raskere enn sikkerhets og kontrollarbeidet klarer å følge.
What are the key points to validate first?
Jacob Coxon sier han forlot Anthropic fordi konkurransen mellom de ledende AI laboratoriene driver utviklingen av selvforbedrende systemer raskere enn sikkerhets og kontrollarbeidet klarer å følge. Anthropic forskeren Evan Hubinger mener risikoen fra dagens modeller er lav, men har personlig anslått til over 10 prosent at AI kan utrydde menneskeheten i løpet av det neste tiåret.
What should I do next in practice?
Debatten har også blitt en reguleringsstrid: Dario Amodei vil bremse utviklingen av de mest avanserte modellene og innføre uavhengig tilsyn, mens kritikere frykter at strenge regler kan styrke de største AI selskapene.