Sampura Research bygger en människa–AI-domare för säkrare AI

Vad är Sampura Research?

Sampura Research är en Londonbaserad ideell organisation med fokus på AI-säkerhet. Den grundades av de tidigare Google DeepMind-forskarna Rishub Jain och Josh Jacob – inte, enligt organisationens eget tillkännagivande, av Alex Adams. Sampura lanserades offentligt den 25 augusti 2026 och har fått ett initialt finansieringsåtagande på 11 miljoner dollar från Coefficient Giving: 7 miljoner dollar för det första året och ytterligare 4 miljoner dollar som utlovats senare. Alex Adams nämns i tillkännagivandet som någon som lämnat synpunkter, inte som grundare. 4

Kärnan i projektet är det Sampura kallar människa–AI-komplementaritet för skalbar tillsyn. På vanlig svenska handlar det om att låta människor och AI komplettera varandra när avancerade modeller ska testas och övervakas.

Varför räcker det inte att låta AI övervaka AI?

AI-labb använder i allt högre grad språkmodeller som så kallade domare. En domare kan bedöma om ett svar, en kodlösning eller en AI-agents handlingsförlopp är korrekt och förenligt med säkerhetskrav. AI-domare är billigare och snabbare än mänskliga granskare och kan därför användas i mycket större skala.

Sampura menar dock att mänsklig bedömning fortfarande har egenskaper som inte utan vidare kan ersättas. Människor kan exempelvis upptäcka AI-systemens ojämna eller ”taggiga” felmönster – situationer där en modell presterar imponerande i vissa avseenden men gör oväntat allvarliga misstag i andra. Mänskliga granskare kan också fungera som en oberoende kontroll om modellen som övervakas och modellen som bedömer den börjar anpassa sig till varandra. Dessutom kan människor behöva avgöra hur nya eller föränderliga mänskliga värderingar ska tolkas. 4

Det betyder inte att Sampura förespråkar manuell kontroll av varje AI-svar. Tanken är i stället att mänsklig insats ska sättas in där den ger störst säkerhetsnytta.

Så ska de hybridbaserade ”domarna” fungera

I Sampuras terminologi är en domare en människa, en AI-modell eller en kombination av båda som bedömer om en AI:s beteende är korrekt och förenligt med önskade värderingar.

Organisationen vill bland annat utveckla metoder som:

• uppskattar hur säker en AI-domare är på sin bedömning,
• skickar osäkra fall vidare till mänskliga granskare,
• fördelar uppgifter eller deluppgifter mellan människor och AI,
• ger människor särskilt anpassat AI-stöd under granskningen.

En sådan modell kan liknas vid ett triagesystem: enkla och tydliga fall hanteras automatiskt, medan ovanliga, tvetydiga eller potentiellt farliga fall prioriteras för mänsklig bedömning. Sampura vill därmed förena AI:s snabbhet med människans möjlighet att ifrågasätta premisserna bakom en bedömning.

En offentlig topplista ska mäta hur bra domarna är

Under organisationens första sex månader ligger fokus på att bygga bättre domare. Sampura planerar en offentlig och löpande uppdaterad topplista med mer än 20 deldataset. Dessa ska bland annat omfatta:

• upptäckt av bedrägligt eller vilseledande beteende,
• kulturell partiskhet,
• osäkra handlingar av AI-agenter.

Testerna ska inte bara bestå av statiska exempel. Sampura vill också undersöka vad som händer när den modell som övervakas får möjlighet att optimera mot sin domare under förstärkningsinlärning. Det är ett sätt att testa risken för reward hacking – att en AI lär sig maximera det som mäts eller belönas utan att faktiskt uppnå det säkerhetsmål som människor avsåg. 4

Organisationen uppger att forskningsartiklar, kod, dataset och topplistor ska publiceras öppet. Det kan göra resultaten lättare att granska och jämföra, men öppna mätningar är inte samma sak som att systemen automatiskt blir säkra i verkliga miljöer.

Från att bedöma svar till att förutse skador

Sampuras forskningsagenda omfattar mer än klassiska scenarier där en AI-modell beskrivs som ”skurkaktig”. Organisationen nämner bland annat partiskhet, osäkra interaktioner med barn och beroende av AI-kompanjoner.

På längre sikt vill Sampura inte bara bedöma AI:s svar. Målet är också att kunna ta fram och utvärdera de instruktioner, bedömningskriterier och testfall som används för att granska systemen. Det skulle kunna göra det lättare att upptäcka svagheter innan de visar sig i en skarp tillämpning. Men än så länge är detta en planerad forskningsinriktning – inte ett demonstrerat system som kan begränsa avancerad AI.

Den verkliga prövningen blir användning i praktiken

För att projektet ska få betydelse utanför laboratoriet behöver Sampura visa flera saker. Organisationen vill bland annat mäta om bättre domare faktiskt minskar reward hacking, avgöra när domarna måste tränas om när AI-modellerna förändras och hitta en rimlig balans mellan kostnad, snabbhet och kvalitet i mänsklig medverkan. 4

En möjlig väg är att först låta oberoende tredjepartsgranskare stresstesta systemen. Därefter hoppas Sampura på användning hos laboratorier som utvecklar de mest avancerade AI-modellerna, bland annat i träning, utvärdering och löpande övervakning.

Varför rekryteringen är en viktig del av historien

Att skala mänsklig tillsyn kräver personer med både teknisk kompetens och erfarenhet av AI-utvärdering. Det är en knapp resurs. METR, en organisation som oberoende testar AI-modellers kapacitet och risker, har exempelvis annonserat en tjänst inom utvärdering med en grundlön på 285 548–503 116 dollar per år och öppnat för ännu högre ersättning till exceptionella kandidater. 9

Det illustrerar varför Sampuras rekrytering i London är strategiskt viktig. Organisationens egen källa säger att den söker grundande teknisk personal i London, men det finns inte tillräckligt starkt primärkällestöd för det specifika påståendet att Sampura ska anställa minst sex personer med löner på 100 000–290 000 pund. 4

Ett tekniskt komplement till styrning – inte en ersättning

Sampuras lansering kommer samtidigt som över 1 100 personer inom den avancerade AI-industrin har skrivit under ett brev från juli 2026. De efterlyser internationella tekniska och styrningsrelaterade verktyg som kan göra det möjligt att bromsa utvecklingen om AI går snabbare än vad människor säkert kan övervaka. 1

Sampura kan bidra med en möjlig teknisk byggsten: mer trovärdiga, öppna och granskningsbara utvärderingar. Däremot kan organisationen inte på egen hand skapa laglig beslutanderätt, internationell samordning, tillgång till företagens modeller eller mekanismer för att verkställa en inbromsning. Arbetet kompletterar därför politisk styrning och reglering snarare än ersätter dem.

Vad säger detta om DeepMind och AI-industrin?

Jains avhopp har rapporterats i samband med en bredare serie av avhopp från Google DeepMind. Påståendet att fem centrala forskare lämnade organisationen på sex dagar verkar dock huvudsakligen bygga på rapportering från svagare sekundärkällor och bör inte betraktas som oberoende fastställt. 5

Det finns inte heller tillräckliga belägg i materialet för den långtgående formuleringen att AI-företag ännu inte kan kontrollera det de har byggt. Den mer försiktiga slutsatsen är att robust tillsyn av allt kraftfullare modeller fortfarande är obevisad, att erfarna utvärderare är svåra att rekrytera och att Sampura försöker göra mänsklig medverkan mer skalbar och motståndskraftig.

Satsningen är alltså inte ett bevis på att människor har löst AI-säkerhetsproblemet. Den är snarare ett försök att undvika ett allt vanligare antagande: att den säkraste vägen framåt automatiskt är att låta AI ensam övervaka AI.