GPT-6 Astra: Det har OpenAI annonceret – og det betyder påstandene

OpenAI præsenterede 3. september GPT-6 Astra som en model til krævende arbejde i flere led – fra programmering og research til brug af computerprogrammer og professionelle arbejdsgange. Den første adgang er begrænset til en mindre gruppe organisationer frem for en øjeblikkelig bred lancering. 2513

Lanceringen handler dog ikke kun om høje benchmarkscorer. OpenAI oplyser, at Astra er virksomhedens første model, der når Critical-niveauet for cybersikkerhed i dens Preparedness Framework. Det er derfor nødvendigt at se modellens præstationspåstande og den forsigtige udrulning i sammenhæng. 1012

OpenAI's hovedpåstand: Mere selvstændigt arbejde

Ifølge OpenAI er Astra blandt de bedste modeller til computerbrug, web-browsing, softwareudvikling, cybersikkerhed, videnskab og professionelt arbejde. I udviklerdokumentationen beskrives modellen som beregnet til kompleks ræsonnering, kode, computerbrug, research og udarbejdelse af dokumenter. 1313

Virksomheden fremhæver tre resultater fra sine evalueringer:

• 98 % på FrontierMath Tier 4
• 99,9 % på ARC-AGI-3
• 100 % på ExploitBench 13

Tallene er OpenAI's egne offentliggjorte målinger og ikke uafhængigt gentagne resultater. Høje benchmarkscorer kan være et relevant tegn på fremskridt i de testede opgaver, men de dokumenterer ikke i sig selv generel intelligens, stabil dømmekraft i virkelige situationer eller sikker autonomi i alle miljøer.

Derfor er cyberklassifikationen Critical vigtig

OpenAI siger, at Astra er den første af selskabets modeller, der når Critical-niveauet for cyberkapacitet. Ifølge virksomhedens egen beskrivelse betyder det, at modellen – med de rigtige værktøjer og den nødvendige adgang – kan identificere hidtil ukendte sikkerhedsfejl og udvikle nye metoder til at udnytte dem i mange godt beskyttede systemer, uden at et menneske styrer hvert enkelt trin. 1012

Påstanden har to væsentlige forbehold:

1. Kapaciteten afhænger af, hvilke værktøjer og adgange modellen får.
2. Klassifikationen stammer fra OpenAI's egen ramme og vurderingsproces.

OpenAI oplyser, at Astra har fået stærkere beskyttelse mod skadelige cyberhandlinger, herunder ekstra overvågning under udrulningen. 510 Den trinvise adgang stemmer dermed overens med den forhøjede risiko, virksomheden selv peger på.

“Aligned” er en påstand – ikke en garanti

OpenAI kalder også Astra sin mest aligned model og siger, at den er bedre til at respektere opgavens grænser og kommunikere klart. 213

Det bør læses med et forbehold. Når en model omtales som aligned ved en lancering, beskriver det dens præstation i bestemte træningsforløb og evalueringer. Det er ikke en garanti for, at en agent altid forstår brugerens hensigt, bliver inden for alle praktiske rammer eller kan sættes i drift uden menneskelig kontrol. OpenAI's egne release notes nævner yderligere overvågning for at opdage situationer, hvor agenter kan have misforstået instruktioner. 5

For organisationer er det afgørende derfor ikke alene, om en model får mærkatet aligned. Det vigtige er, hvilke tilladelser den får, hvilke handlinger der kræver godkendelse, hvordan aktiviteten logges, og hvor hurtigt den kan standses ved uventet adfærd.

Benchmarktal og overvågning: Det kan bekræftes

Det fremlagte materiale omtaler senere forbehold ved nogle evalueringstal, blandt andet risiko for benchmark-kontaminering og forskelle mellem særlige adgangskonfigurationer og standardadgang i produktion. Det beskriver også test, hvor overvågning udelukkende af modellens ræsonnementskæde – chain of thought – var mindre effektiv end overvågning med fuld kontekst.

De tilgængelige primærkildeuddrag giver dog ikke en komplet, uafhængigt efterprøvbar historik over ændringer i alle resultater eller den fulde metode bag overvågningen. Den forsvarlige konklusion er derfor begrænset: Overskriftsresultater og sikkerhedsevalueringer bør betragtes som dokumentation, der kan ændre sig i takt med lanceringen. Organisationer bør tjekke den aktuelle modeldokumentation og sikkerhedsmaterialet, før de baserer en konkret beslutning på en bestemt score eller en påstand om drift. 2310

Hugging Face-hændelsen skærpede fokus på sikkerhed

Lanceringen følger en tidligere hændelse under sikkerhedstest af OpenAI-modeller, som ifølge OpenAI har påvirket virksomhedens sikkerhedsarbejde med Astra. OpenAI understreger, at Astra ikke var modellen i den pågældende hændelse, og at erfaringerne er indarbejdet i beskyttelsen omkring den nye model. 10

Sammenhængen er vigtig, fordi autonome systemer kombinerer modelkapacitet med muligheden for at handle via browsere, kodeværktøjer og anden software. Netop evnen til at handle på tværs af systemer kan gøre en model nyttig – og samtidig gøre afgrænsning, mindst mulige rettigheder og overvågning mere afgørende.

Hvem får adgang, og hvad koster det?

OpenAI oplyste, at Astra først rulles ud til en begrænset gruppe organisationer, mens en bredere tilgængelighed er planlagt senere. 513

For udviklere står GPT-6 Astra opført til 10 dollar pr. million inputtokens og 50 dollar pr. million outputtokens. Modelsiden angiver desuden et kontekstvindue på 1,05 millioner tokens og op til 128.000 outputtokens. 3

ChatGPT-adgangen udrulles separat og gradvist. OpenAI's hjælpedokumentation siger, at GPT-6 Pro, som drives af Astra, rulles ud til Pro 100-, Pro 200-, Business- og Enterprise-abonnementer. Plus-abonnementer får Astra i ChatGPT Work og Codex, efterhånden som udrulningen skrider frem. Tilgængeligheden kan være forskellig på tværs af ChatGPT-produkter og indstillinger i arbejdsområder. 6

Det vigtigste at tage med

GPT-6 Astra-lanceringen rummer to budskaber, der ikke bør skilles ad: OpenAI hævder et markant fremskridt i komplekst, agentbaseret arbejde, og klassificerer samtidig modellens cyberkapacitet på sit højeste oplyste risikoniveau. 1013

Benchmarkene er dokumentation for, hvad OpenAI siger, at Astra kan i virksomhedens egne evalueringer. Den gradvise adgang, ekstra overvågning og cyberbegrænsninger viser omvendt, at OpenAI ikke betragter kapaciteten som rutinemæssig. For teams, der vil vurdere modellen, bør fokus være kontrolleret brug: snævert afgrænsede værktøjer, klare godkendelsestrin for væsentlige handlinger, isolerede miljøer og logning, der kan gennemgås. Høje benchmarkscorer bør ikke i sig selv opfattes som garanti for pålidelig autonomi.