Sampura vil have mennesker til at bedømme AI

Sampura Research er en London-baseret nonprofitorganisation inden for AI-sikkerhed. Organisationen tager fat på et meget konkret spørgsmål: Hvem skal afgøre, om et stadig mere avanceret AI-system opfører sig korrekt og sikkert?

Svaret er ikke at fjerne mennesker fra processen. I stedet vil Sampura udvikle systemer, hvor mennesker og AI deler ansvaret for overvågningen. Organisationen oplyser, at den har modtaget en indledende bevilling på 11 millioner dollar fra Coefficient Giving: 7 millioner dollar til det første år samt yderligere 4 millioner dollar, der er stillet i udsigt. 1

Den officielle lancering er dateret 25. august 2026, ikke 24. august. Her fremgår Rishub Jain og Josh Jacob som grundlæggere. Tidligere opslag på sociale medier beskrev et arbejde sammen med Alex Adams, men lanceringsmeddelelsen fastslår ikke, at alle tre formelt grundlagde nonprofitorganisationen. 112

Hvad er en menneske-AI-”dommer”?

I Sampuras terminologi kan en dommer være et menneske, en AI-model eller et hybridsystem, der vurderer, om en anden AI’s adfærd er korrekt og i overensstemmelse med de ønskede sikkerheds- og værdimæssige mål. Det kan være et enkelt svar, en hel samtale eller en flertrinsproces udført af en AI-agent. 1

Det er vigtigt, fordi overvågning ofte behandles som et separat problem fra selve modellens kunnen. En model kan skrive overbevisende svar eller løse komplicerede opgaver og samtidig vildlede den, der evaluerer den, udnytte huller i en belønningsfunktion eller foretage en farlig handling undervejs i en længere proces.

Sampura kalder sin tilgang menneske-AI-komplementaritet til skalerbar overvågning. Ideen er at automatisere de dele, hvor AI er pålidelig, men bevare menneskelig indblanding, når der kræves dømmekraft, fortolkning eller beslutninger, der afhænger af værdier. 1

Hvorfor ikke lade AI overvåge AI alene?

AI-systemer er attraktive som kontrollører, fordi de kan arbejde hurtigt og billigt i stor skala. Men ifølge Sampura er hastighed ikke i sig selv det samme som pålidelighed. Organisationen fremhæver flere risici:

• Ujævn kunnen: AI-præstationer kan være ”jagged” – altså ujævne. En model kan være stærk på nogle opgaver og overraskende svag på andre.
• Sammenfaldende fejl: Menneskelige og kunstige bedømmere kan begå fejl, der ligner hinanden, især når modellen optimeres mod selve evalueringsprocessen.
• Manipulation og samspil: Det system, der overvåges, kan forsøge at udnytte, bedrage eller på anden måde påvirke en automatiseret kontrollør.
• Nye situationer: Uventede eller tvetydige tilfælde kan kræve menneskelig overvejelse af værdier frem for en mekanisk anvendelse af indlærte præferencer.

Det betyder ikke, at menneskelige bedømmere altid er bedre. Pointen er snarere at undersøge, hvilken kombination af mennesker og maskiner der fungerer bedst under pres, i stedet for på forhånd at beslutte, at alle opgaver skal håndteres af den ene eller den anden. 1

Sådan skal dommerne testes

Sampuras første seksmånedersprogram fokuserer på en bred rangliste for AI-dommere med mere end 20 deldatasæt. De planlagte områder omfatter blandt andet afsløring af bedrag, kulturel bias og usikre handlinger udført af AI-agenter. 1

Evalueringerne skal ikke kun bestå af statiske spørgsmål-og-svar-tests. Sampura vil også opstille scenarier, hvor den overvågede model direkte optimerer mod dommeren under forstærkende læring. På den måde kan forskerne undersøge, om en dommer fortsat fungerer, når den evaluerede model har et incitament til at finde og udnytte svagheder i kontrollen. 1

Arbejdet skal sammenligne tre overordnede tilgange:

1. Menneskelige bedømmere, der vurderer direkte.
2. AI-dommere, som giver større hastighed og skalerbarhed.
3. Hybride dommere, hvor mennesker og AI deler eller koordinerer evalueringsarbejdet.

Målet er ikke blot at opnå en høj score på én snæver test. Sampura ønsker dommere, der er robuste på tværs af mange forskellige evalueringer og fortsat fungerer, efterhånden som de modeller, de overvåger, bliver bedre til at udnytte svagheder i bedømmelsen. 1

Hvordan kan hybrid overvågning fungere?

Organisationen har skitseret flere mulige måder at kombinere menneskelig og kunstig dømmekraft på:

• En AI kan vurdere sin egen sikkerhed og sende usikre sager videre til et menneske.
• Et fordelingssystem kan tildele en hel overvågningsopgave til enten en menneskelig eller en kunstig bedømmer.
• En kompleks opgave kan opdeles i mindre dele, som derefter fordeles mellem mennesker og maskiner.
• Digitale værktøjer kan hjælpe menneskelige bedømmere med at træffe vanskelige vurderinger hurtigere og mere ensartet.

Tilgangen gør menneskelig indblanding til noget, der skal optimeres – ikke et enten-eller-krav. Nogle sager kan gennemgås billigt og pålideligt automatisk, mens andre retfærdiggør langsommere, menneskelig opmærksomhed.

Det centrale regnestykke er derfor ikke ”menneske mod AI”, men balancen mellem nøjagtighed, pris, hastighed og modstandsdygtighed over for bevidst manipulation. 1

Den langsigtede forskningsplan

Når Sampura har udviklet bedre dommere, vil organisationen undersøge, om de kan begrænse såkaldt reward hacking under træningen af modeller. Det dækker over situationer, hvor en model finder måder at opnå en høj belønning på uden reelt at gøre det, systemet var tiltænkt at belønne.

Sampura vil også undersøge, hvor meget menneskelig indblanding der er nødvendig, hvordan overvågningssystemer skal tilpasses, når grundmodeller lærer at udnytte dem, og om dommere kan bruges til mere end blot at klassificere modeloutput. 1

Det kan blandt andet indebære at udforme eller vurdere de specifikationer, instruktioner, bedømmelseskriterier og testcases, som bruges til at træne og evaluere AI-systemer. Sampura siger, at organisationen vil offentliggøre sit arbejde gennem forskningsartikler, kode, datasæt og ranglister. 1

Det tilgængelige lanceringsmateriale understøtter denne overordnede plan med datasæt, benchmarks, opgavefordeling og værktøjer til menneskelige bedømmere. Det dokumenterer derimod ikke alle de mere specifikke projektnavne, der er blevet knyttet til organisationen – herunder et navngivet datasæt om fremadrettede skader eller en bekræftet open source-platform til menneskelig bedømmelse. De beskrivelser bør derfor betragtes som ubekræftede og ikke som annoncerede produkter.

En vanskelig kamp om specialister

Sampura oplyser, at organisationen søger tekniske medarbejdere til sit grundlæggerteam i London. Programmet kræver ekspertise inden for blandt andet maskinlæring, evalueringsdesign, menneske-computer-interaktion, dataarbejde og implementering. 1

Tidligere offentlige opslag omtalte mindst seks yderligere forskerstillinger og lønninger på mellem 100.000 og 290.000 pund, men de præcise beløb er ikke bekræftet i nonprofitorganisationens lanceringsmeddelelse. 1213

Feltet for AI-evaluering konkurrerer samtidig om en begrænset gruppe specialister. METR’s eget opslag for en teknisk medarbejder inden for evalueringsudførelse angiver en grundløn på 285.548 til 503.116 dollar og bemærker, at organisationen kan overveje en højere løn til kandidater med ekstraordinær erfaring. 18

Kontrasten viser udfordringen for Sampura: Pålidelig overvågning kræver både teknisk forskning og omhyggelig evaluering i praksis, mens organisationerne på området kæmper om mange af de samme medarbejdere.

En del af en bredere bekymring

Sampuras lancering kommer på et tidspunkt, hvor flere frygter, at AI-udviklingen kan løbe fra de systemer, der skal overvåge den. I juli 2026 skrev mere end 1.100 ansatte fra store AI-virksomheder under på et åbent brev, der bad den amerikanske regering støtte internationale tekniske og styringsmæssige værktøjer, som om nødvendigt kan sætte tempoet ned i udviklingen af avanceret AI. Brevet opfordrede ikke til et øjeblikkeligt stop for AI-udviklingen. 40

Der har også været betydelige ændringer blandt ledende AI-forskere. Reuters har rapporteret om ledelsesændringer i Googles AI-division samt om prominente ingeniørers og forskeres afgang til andre virksomheder og nystartede selskaber. 49 Det giver kontekst til Sampuras dannelse, men dokumenterer ikke, at nonprofitorganisationen har løst det grundlæggende sikkerhedsproblem.

Hvad kan Sampura – og hvad kan organisationen ikke – sige endnu?

Det stærkeste belæg beskriver Sampura som en forskningsorganisation i en tidlig fase, der bygger måle- og beslutningsinfrastruktur til AI-overvågning. Organisationens benchmarks og hybride evalueringsmetoder kan med tiden blive nyttige for AI-laboratorier, uafhængige evaluatorer og andre, der tester modellers adfærd. 1

Det er ikke det samme som at bevise, at Sampura kan holde avancerede frontlinjesystemer under kontrol. Organisationens umiddelbare bidrag er at undersøge, hvordan overvågning bør udformes og testes, når den model, der overvåges, er kompetent, tilpasningsdygtig og måske har et incitament til at bestå evalueringerne uden reelt at være sikker.

Den centrale antagelse er derfor, at skalerbar AI-sikkerhed vil kræve automatisering – men ikke en automatisering, der fjerner mennesker fra de mest konsekvensrige vurderinger.