AnswersPublished22 sources
AI-debatten om utrotning: interna varningar möter krav på bevis
Evan Hubingers bedömning att risken överstiger 10 procent inom tio år är en personlig uppskattning, inte en vetenskapligt fastställd sannolikhet. Jacob Coxons avhopp från Anthropic och Bilal Chughtais varning har skärpt debatten, medan kritiker pekar på att digital förmåga inte automatiskt ger fysisk handlingskraft.
Publicerad avRedigerad med GPT-5.6 TerraBilder genererade med GPT Image 2
Research answer
Key takeaways
- Evan Hubingers bedömning att risken överstiger 10 procent inom tio år är en personlig uppskattning, inte en vetenskapligt fastställd sannolikhet.
- Jacob Coxons avhopp från Anthropic och Bilal Chughtais varning har skärpt debatten, medan kritiker pekar på att digital förmåga inte automatiskt ger fysisk handlingskraft.
- En möjlig gemensam väg är oberoende granskning, trösklar för riskabla förmågor och samordning mellan de ledande AI laboratorierna – samtidigt som redan aktuella skador hanteras.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How is the current debate over whether advanced artificial intelligence could cause human extinction unfolding, including Jacob Coxon’s resi. Article summary: The debate is becoming less about whether AI poses any danger and more about what kind of evidence and governance threshold should apply before frontier systems become substantially more capable. There is no empirical ba. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
Det pågående grälet om AI och mänsklighetens överlevnad är inte i första hand en konflikt mellan dem som tycker att AI är ofarlig och dem som ser risker. Kärnfrågan är snarare hur fort systemen kan utvecklas, vilka steg som faktiskt krävs för att de ska kunna orsaka oåterkallelig skada och hur starka belägg som bör krävas innan utvecklingen begränsas hårdare.
Varningar från personer med erfarenhet av ledande AI-laboratorier har gjort frågan mer akut. Samtidigt stöder även flera kritiker av utrotningsretoriken tester och säkerhetsarbete. Den praktiska konfliktlinjen handlar därför allt mer om huruvida utvecklarna kan visa att systemen går att kontrollera och använda säkert när de blir mer kapabla.
Interna varningar: en kapplöpning mot system som kan bli svåra att kontrollera
Jacob Coxon, tidigare forskare på Anthropic och enligt egen uppgift även verksam på OpenAI, lämnade Anthropic i september 2026. Han anklagade bolagen för att sätta konkurrensen före ansvarsfull utveckling och sade att de tävlar mot ”självförbättrande superintelligens”. 49
Varningen fick offentligt stöd av Evan Hubinger, chef för alignmentforskning på Anthropic. Hubinger uppgav att han personligen bedömer sannolikheten för att AI kan döda alla människor inom de kommande tio åren till över 10 procent. Han sade också att Anthropic ännu saknar en plan för att lösa alignment – alltså att säkerställa att ett mycket avancerat system faktiskt följer mänskliga mål och begränsningar – för superintelligens. 16 Uppskattningen är dock en personlig prognos, inte vetenskaplig samsyn eller en empiriskt beräknad utrotningssannolikhet.
12
Den tidigare Google DeepMind-forskaren Bilal Chughtai har uttryckt en liknande oro: han anser att AI kan få potential att döda alla människor och att tiden för att förhindra ett sådant utfall kan vara på väg att rinna ut. 2
Det är i regel villkorade varningar, inte påståenden om att dagens chattbotar plötsligt blir farliga på egen hand. Den befarade utvecklingskedjan är att framtida system kan accelerera AI-forskning, få större handlingsfrihet, undgå effektiv mänsklig tillsyn eller förstärka tillgången till cyber-, bio- och institutionella resurser snabbare än säkerhetsmetoderna hinner med. Om detta är sannolikt – och hur snart det i så fall kan ske – är själva tvistefrågan.
Varför ”över 10 procent” inte är en fastställd prognos
Hubingers siffra har väckt uppmärksamhet, både för att den är hög och för att den kommer från en senior säkerhetsforskare. Men den behöver läsas rätt: det är ett individuellt omdöme under mycket stor osäkerhet, inte en sannolikhet som validerats mot historiska data eller räknats fram med en modell som kan mäta utrotningsrisk. 12
Bedömningen förutsätter dessutom flera omstridda led:
- AI-system måste bli avsevärt mer kapabla än dagens modeller.
- Förmågorna måste omsättas i varaktig strategisk självständighet eller skadlig makt i den fysiska världen.
- Tekniska skydd, operatörer, institutioner och motåtgärder måste misslyckas med att begränsa systemet eller dess missbruk.
- Säkerhets- och alignmentforskningen måste hamna efter kapacitetsutvecklingen.
Varje länk i kedjan kan diskuteras separat. Det gör inte oron betydelselös, men det betyder att en uppmärksammad procentsiffra inte bör behandlas som en bevisad förutsägelse.
Skeptikernas invändning: digital intelligens är inte samma sak som fysisk makt
Kritiker ifrågasätter språnget från starka resultat i språk- och mjukvaruuppgifter till förmågan att orsaka skada i fysisk skala. Ett ofta återkommande exempel gäller biologi. Eric Xing har framhållit att en språkmodell som genererar en hypotetisk virusgenomsekvens gör något helt annat än att skapa ett fungerande virus: material måste anskaffas, tillverkning genomföras, biologisk livsduglighet uppnås och laboratoriearbete samt tester lyckas. 46
Skillnaden är väsentlig. En modell kan lämna information eller konstruktionsförslag, men att omsätta dem i verklig skada kan kräva specialiserade laboratorier, praktisk erfarenhet, leveranskedjor, upprepade experiment och tillgång till kontrollerade material. Det innebär inte att biosäkerhetsrisken är noll. Men det utmanar antagandet att digital kapacitet i sig omedelbart ger avgörande fysisk handlingsförmåga.
Nvidias vd Jensen Huang har avfärdat idén att AI kommer att utplåna mänskligheten som ”fullständigt nonsens”. 33 Investeraren Mark Cuban har i sin tur hävdat att människors reaktioner på alarmistiska budskap kan vara en större risk än AI-agenters samverkan i sig.
43
Den skeptiska hållningen behöver alltså inte betyda att AI i teknikfronten saknar behov av skyddsräcken. Poängen är snarare att extraordinära påståenden om nära förestående utrotning kräver starkare underlag än extrapoleringar från dagens modellprestationer och spekulativa framtidsscenarier.
En framväxande mittlinje: bromsa kapaciteten och kontrollera säkerheten
Ett mer handfast svar kommer från ledare som varken ser utrotning som säker eller avfärdar risken. Anthropics vd Dario Amodei har efterlyst långsammare förbättringar av AI-modellernas förmågor för att ge säkerhetsarbetet tid. Hans ramverk innehåller bland annat oberoende utvärderare med tillgång på ungefär samma nivå som anställda och samordning mellan de främsta AI-bolagen. 18
Reuters har rapporterat att OpenAI:s vd Sam Altman hör till de ledare som söker en samordnad inbromsning, samtidigt som branschen är oenig om hur mycket som ska överlåtas åt marknadsdrivna skyddsåtgärder. 19 Enligt rapporteringen har Altman också stött externa utvärderare som en del av modellen.
20
Det flyttar diskussionen från abstrakta framtidsprognoser till metoder som går att granska:
- Oberoende utvärdering: Kvalificerade externa granskare behöver meningsfull tillgång för att testa säkerhetspåståenden, i stället för att allmänheten enbart ska förlita sig på bolagens egna besked.
18
- Trösklar kopplade till faktiska förmågor: Tillsynen bör skärpas eller lanseringar begränsas när modeller tar tydliga steg inom riskområden, exempelvis cyberoperationer eller autonoma agentbeteenden.
- Samordning mellan laboratorier: Konkurrensen bör inte få driva företag att sänka säkerhetsmarginalerna för att inte hamna efter rivaler.
- Internationellt samarbete: Regeringar och stora AI-utvecklare behöver samordna standarder och minska trycket att lansera utan tillräckliga skyddsåtgärder.
27
- Säkerhet i takt med kapacitet: Påvisbar kontroll, övervakning och beredskap att hantera incidenter bör utvecklas i samma takt som systemen blir kraftfullare.
Riskerar utrotningsscenarier att tränga undan dagens problem?
En separat invändning gäller prioriteringar. Även om katastrofrisker förtjänar forskning och beredskapsplanering kan ett ensidigt fokus på osäkra utrotningsscenarier skymma skador som redan är kopplade till avancerade AI-system och deras användning.
Den mer omedelbara agendan omfattar AI-stött cybermissbruk, bedrägerier, övervakning, desinformation, diskriminerande automatiserade beslut, förändringar på arbetsmarknaden och maktkoncentration. När Amodei argumenterade för långsammare utveckling nämnde han själv missbruksrisker som vapenutveckling, cyberangrepp och övervakning. 29
Det behöver inte vara ett val mellan nutida skador och långsiktiga katastrofrisker. Flera skyddsåtgärder kan hantera båda: bättre åtkomstkontroller, mer robusta utvärderingar, försiktiga lanseringsprinciper, oberoende granskning, incidentrapportering och tydligt ansvar kan minska missbruk här och nu samtidigt som beredskapen för mer kapabla system förbättras.
Vad debatten faktiskt förändrar
Den starkaste slutsatsen är varken att utrotning är bevisad eller att risken kan avfärdas enbart för att en komplett katastrofkedja inte har visats. Debatten pekar i stället mot en praktisk princip: påståenden om säkerhet för allt mer kapabla system ska kunna testas, granskas oberoende och stå i rimlig proportion till den möjliga skadans omfattning.
Coxon, Hubinger och Chughtai argumenterar för försiktighet under osäkerhet. Skeptiker som Huang och Xing ifrågasätter om dagens belägg motiverar slutsatser om nära förestående domedag. Amodei och Altman pekar på ett svar som inte kräver att varje filosofisk oenighet först avgörs: bromsa utvecklingen vid teknikfronten, mät riskabla förmågor, släpp in trovärdig extern granskning och samordna regler innan konkurrenstrycket gör oprövade säkerhetspåståenden till norm vid lansering. 49
16
33
18
19
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "AI-debatten om utrotning: interna varningar möter krav på bevis"?
Evan Hubingers bedömning att risken överstiger 10 procent inom tio år är en personlig uppskattning, inte en vetenskapligt fastställd sannolikhet.
What are the key points to validate first?
Evan Hubingers bedömning att risken överstiger 10 procent inom tio år är en personlig uppskattning, inte en vetenskapligt fastställd sannolikhet. Jacob Coxons avhopp från Anthropic och Bilal Chughtais varning har skärpt debatten, medan kritiker pekar på att digital förmåga inte automatiskt ger fysisk handlingskraft.
What should I do next in practice?
En möjlig gemensam väg är oberoende granskning, trösklar för riskabla förmågor och samordning mellan de ledande AI laboratorierna – samtidigt som redan aktuella skador hanteras.
Sources
apnews.comAnthropic researcher resigns with warning about the dangers of AI development
x.comJacob is correct here—we really do earnestly believe AI ...
finchannel.comAI Could Kill All Humans Within a Decade, Anthropic Researcher Warns as Research Shows Persistent Extinction Risk - FINCHANNELAI Could Kill All Humans Within a Decade, Anthropic Researcher Warns