AnswersPublished14 sources
Sampura Research: Derfor vil de ikke lade AI overvåge AI alene
Sampura Research blev offentligt lanceret 25. august 2026 af de tidligere Google DeepMind forskere Rishub Jain og Josh Jacob – ikke Alex Adams.
Udgivet afRedigeret med GPT-5.6 LunaBilleder genereret med GPT Image 1.5
Research answer
Key takeaways
- Sampura Research blev offentligt lanceret 25. august 2026 af de tidligere Google DeepMind forskere Rishub Jain og Josh Jacob – ikke Alex Adams.
- Organisationen mener, at mennesker fortsat har særlige styrker, som AI dommere ikke nødvendigvis kan erstatte: De kan opdage ujævne fejl, fungere som uafhængig kontrol og vurdere nye eller skiftende menneskelige værdier.
- Sampura vil udvikle hybride dommere, hvor AI håndterer de oplagte sager, mens usikre eller særligt følsomme vurderinger sendes videre til mennesker.
- Planen omfatter en offentligt tilgængelig rangliste med mere end 20 deldatasæt om blandt andet bedrag, kulturel bias og usikre handlinger fra AI agenter.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Sampura Research, the London based nonprofit launched on August 24, 2026 by former Google DeepMind researchers Rishub Jain, Joshua J. Article summary: Sampura Research is a London AI safety nonprofit founded by former Google DeepMind researchers Rishub Jain and Josh Jacob—not, based on its own announcement, by Alex Adams.. Topic tags: general web, ai safety, openai, llm, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and
Sampura Research er en London-baseret nonprofitorganisation inden for AI-sikkerhed. Den blev grundlagt af de tidligere Google DeepMind-forskere Rishub Jain og Josh Jacob og lanceret offentligt 25. august 2026. Organisationens egen meddelelse nævner ikke Alex Adams som medstifter, men krediterer ham for feedback på lanceringen. Sampura er støttet af et indledende tilsagn på 11 millioner dollar fra Coefficient Giving – 7 millioner dollar til det første år og yderligere 4 millioner dollar lovet senere. 4
Et opgør med idéen om, at AI skal overvåge AI
I den nuværende tilgang til såkaldt scalable oversight forsøger man ofte at lade store sprogmodeller bedømme andre modellers svar og handlinger. Det er hurtigere og billigere end at lade mennesker gennemgå alt.
Sampuras pointe er ikke, at mennesker skal kontrollere hver eneste AI-beslutning. Pointen er, at menneskelig dømmekraft ikke bør fjernes fra systemet. Mennesker kan blandt andet have en fordel, når:
- en model fejler på uforudsigelige eller ujævne måder – såkaldte “jagged” fejl
- den model, der overvåges, og AI-dommeren risikerer at tilpasse sig hinanden
- der skal tages stilling til nye situationer eller værdier, som ikke kan beskrives fuldstændigt på forhånd.
4
Hvad er en hybrid dommer?
Hos Sampura betyder en “dommer” et menneske, en AI-model eller en kombination af de to, som vurderer, om en AI’s svar eller handlingsforløb er korrekt og i overensstemmelse med sikkerhedskrav.
Organisationen vil undersøge systemer, der kan vurdere en AI-dommers sikkerhed eller usikkerhed. Når modellen er i tvivl, skal sagen kunne sendes videre til et menneske. Andre metoder skal fordele opgaver eller delopgaver mellem mennesker og AI, mens mennesker kan få særlig AI-hjælp til den konkrete opgave.
Det er altså ikke et forslag om manuel kontrol af alt. Det er et forsøg på at bruge mennesker dér, hvor deres indsats giver størst sikkerhedsmæssig værdi. 4
En offentlig rangliste over, hvor gode dommerne er
Sampuras første seks måneder skal ifølge organisationen bruges på en offentligt tilgængelig og løbende opdateret rangliste. Den skal indeholde mere end 20 deldatasæt, blandt andet om:
- afsløring af bedrag
- kulturel bias
- usikre handlinger udført af AI-agenter
Dommerne skal ikke kun testes på faste eksempler. Sampura vil også undersøge, hvad der sker, når den overvågede model under forstærkende læring forsøger at optimere mod dommeren. Det er vigtigt i jagten på såkaldt reward hacking: situationer, hvor en AI lærer at se sikker ud eller opnå en belønning uden reelt at leve op til intentionen bag den.
Sampura siger, at organisationen vil offentliggøre forskningsartikler, kode, datasæt og ranglister. 4
Fra modeloutput til selve sikkerhedstesten
Forskningsplanen rækker længere end blot at bedømme AI’ens svar. Sampura vil på sigt også arbejde med at udforme og evaluere de instruktioner, vurderingskriterier og testeksempler, som bruges til at overvåge modellerne.
Det kan gøre det lettere at opdage problemer, før de viser sig i drift. Men det er vigtigt at skelne mellem en metode til at undersøge potentielle fejl og en dokumenteret evne til at inddæmme avancerede modeller. Sampura har endnu fremlagt et forskningsprogram – ikke bevis for, at problemet er løst. 4
De mulige skadevirkninger, organisationen nævner, omfatter også andet end klassiske scenarier med en “løbsk” AI. Det gælder blandt andet bias, usikre interaktioner med børn og afhængighed af AI-baserede ledsagere.
Den afgørende prøve bliver anvendelsen
Sampura vil undersøge, om bedre dommere faktisk mindsker reward hacking, hvornår dommerne skal trænes på ny, efterhånden som modellerne udvikler sig, og hvordan man balancerer menneskelig indsats mod pris, hastighed og kvalitet.
En mulig tilgang er først at lade eksterne evaluatorer stressteste systemerne. Senere kan teknologien ifølge planen bruges i træning, evaluering og overvågning hos laboratorier, der udvikler de mest avancerede AI-modeller. 4
AI-sikkerhed har også et rekrutteringsproblem
Planen skal ses på baggrund af, hvor få erfarne AI-evaluatorer der findes. METR, en organisation der uafhængigt evaluerer AI-modeller, har eksempelvis slået en stilling op med en årlig grundløn på 285.548-503.116 dollar og skriver, at den kan gå højere for ekstraordinære kandidater. 9
Det illustrerer, hvorfor Sampuras rekruttering i London er strategisk vigtig. Organisationens egen lancering siger, at den ansætter tekniske medarbejdere til det grundlæggende team. Der er derimod ikke tilstrækkelig primær dokumentation for den mere specifikke påstand om mindst seks ansatte med lønninger på 100.000-290.000 pund. 4
Et teknisk supplement til politisk styring
Sampura lanceres samtidig med en bredere debat om, hvor hurtigt udviklingen af frontlinje-AI bør gå. Mere end 1.100 personer fra frontier-AI-branchen underskrev i juli 2026 et åbent brev, der efterlyste en international mekanisme, som kan sænke udviklingstempoet, hvis det en dag overstiger menneskers evne til at føre sikkert tilsyn. 1
Sampuras arbejde kan levere en teknisk forudsætning for sådan en mekanisme: mere troværdige og kontrollerbare evalueringer. Men organisationen kan ikke i sig selv skabe lovgivningsmæssig myndighed, international koordinering, adgang til modeller eller håndhævelse. Den tekniske forskning supplerer derfor politisk styring – den kan ikke erstatte den.
Hvad med DeepMind-afgangene?
Rishub Jains afgang blev omtalt i forbindelse med en bredere række af afgange fra Google DeepMind. Påstanden om, at fem kernemedarbejdere forlod organisationen på seks dage, ser dog ud til primært at stamme fra svagere sekundær rapportering og bør ikke behandles som uafhængigt fastslået. 5
Det samme gælder den brede formulering om, at AI-virksomheder endnu ikke kan kontrollere det, de har bygget. Kilderne underbygger en mere begrænset konklusion: Robust overvågning af stadig mere kapable modeller er endnu ikke bevist, erfarne evaluatorer er en mangelvare, og Sampura forsøger at gøre menneskelig kontrol mere skalerbar og modstandsdygtig – uden at antage, at AI alene sikkert kan overvåge AI.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Sampura Research: Derfor vil de ikke lade AI overvåge AI alene"?
Sampura Research blev offentligt lanceret 25. august 2026 af de tidligere Google DeepMind forskere Rishub Jain og Josh Jacob – ikke Alex Adams.
What are the key points to validate first?
Sampura Research blev offentligt lanceret 25. august 2026 af de tidligere Google DeepMind forskere Rishub Jain og Josh Jacob – ikke Alex Adams. Organisationen mener, at mennesker fortsat har særlige styrker, som AI dommere ikke nødvendigvis kan erstatte: De kan opdage ujævne fejl, fungere som uafhængig kontrol og vurdere nye eller skiftende menneskelige værdier.
What should I do next in practice?
Sampura vil udvikle hybride dommere, hvor AI håndterer de oplagte sager, mens usikre eller særligt følsomme vurderinger sendes videre til mennesker.