Sampura vill att människor fortfarande ska döma AI

Sampura Research är en Londonbaserad ideell organisation inom AI-säkerhet. Kärnfrågan är praktisk men avgörande: vem ska avgöra om ett allt mer avancerat AI-system faktiskt beter sig korrekt och säkert?

Organisationens svar är inte att plocka bort människan ur processen. I stället vill Sampura utveckla system där människor och AI delar på ansvaret för övervakningen. Den första finansieringen uppgår enligt organisationen till 11 miljoner dollar från Coefficient Giving: 7 miljoner dollar för det första året och ytterligare 4 miljoner dollar som utlovats. 1

Lanseringen är daterad 25 augusti 2026, inte den 24 augusti. Där anges Rishub Jain och Josh Jacob som grundare. Äldre inlägg på sociala medier beskrev ett arbete tillsammans med Alex Adams, men lanseringsmeddelandet slår inte fast att alla tre formellt grundade organisationen. 112

Vad betyder en mänsklig eller AI-baserad ”domare”?

I Sampuras terminologi kan en domare vara en människa, en AI-modell eller ett hybridsystem som bedömer om ett annat AI-systems beteende är korrekt och följer avsedda värderingar. Bedömningen kan gälla ett enskilt svar, en hel konversation eller en flerledad sekvens där en AI-agent utför flera steg. 1

Det är en viktig skillnad. Övervakning behandlas ofta som ett separat problem från modellernas kapacitet. En modell kan formulera övertygande svar eller genomföra komplicerade uppgifter, men samtidigt vilseleda den som granskar den, utnyttja luckor i belöningssystemet eller ta ett osäkert beslut efter flera steg.

Sampura beskriver sin forskningsinriktning som människa–AI-komplementaritet för skalbar övervakning. Tanken är att automatisera sådant som AI hanterar pålitligt, men behålla mänsklig medverkan när det krävs omdöme, tolkning eller beslut som berör värderingar. 1

Därför vill Sampura inte förlita sig på AI ensam

AI-baserade granskare lockar eftersom de kan arbeta snabbare och billigare i stor skala. Men hög hastighet räcker inte för att göra en bedömare tillförlitlig. I sitt lanseringsmeddelande lyfter Sampura bland annat fram följande risker:

• Ojämn kapacitet: AI:s förmåga kan vara ”taggig” – stark på vissa uppgifter men oväntat svag på andra.
• Överlappande fel: Mänskliga och AI-baserade granskare kan göra liknande misstag, särskilt när modellen optimeras mot själva utvärderingen.
• Manipulation och samverkan: Systemet som övervakas kan försöka utnyttja, lura eller på annat sätt påverka en automatiserad granskare.
• Nya situationer: Oklara eller helt nya fall kan kräva mänskliga överväganden om värderingar, inte bara en mekanisk tillämpning av inlärda preferenser.

Det betyder inte att mänskliga bedömare alltid är bättre. Poängen är att ta reda på vilken kombination av mänsklig och maskinell bedömning som fungerar bäst under press, i stället för att anta att den ena sidan ska hantera allt själv. 1

Så ska granskningen testas

Sampuras första sexmånadersprogram fokuserar på en bred topplista för AI-domare med mer än 20 deldataset. De planerade områdena omfattar bland annat upptäckt av bedrägligt beteende, kulturell partiskhet och osäkra handlingar utförda av AI-agenter. 1

Testerna ska inte bara bestå av statiska frågor och svar. Sampura vill också skapa scenarier där den övervakade modellen direkt optimerar mot granskaren under förstärkningsinlärning. Det ska visa om en bedömare fortfarande fungerar när systemet som utvärderas har ett tydligt incitament att hitta och utnyttja svagheter. 1

Tre breda angreppssätt ska jämföras:

1. Mänskliga bedömare, som gör direkta bedömningar.
2. AI-baserade bedömare, som erbjuder större snabbhet och skalbarhet.
3. Hybrida bedömare, där människor och AI delar på eller samordnar granskningsarbetet.

Målet är inte bara att få ett högt resultat på ett smalt test. Sampura vill att granskarna ska vara robusta över ett brett spektrum av utvärderingar – även när modellerna de övervakar blir bättre på att hitta vägar runt kontrollsystemen. 1

Hur kan ett hybridsystem fungera?

Sampura har skisserat flera möjliga modeller för att kombinera mänskligt och artificiellt omdöme:

• En AI kan uppskatta sin egen säkerhet och skicka osäkra fall vidare till en människa.
• Ett routingsystem kan avgöra om en hel granskningsuppgift ska gå till en mänsklig eller AI-baserad bedömare.
• En komplex uppgift kan delas upp i mindre delar, där olika deluppgifter skickas till människor eller maskiner.
• Gränssnitt kan ge mänskliga bedömare verktyg som gör svåra bedömningar snabbare och mer konsekventa.

Människans roll blir då något som ska optimeras, inte ett krav som måste vara allt eller inget. Vissa fall kan granskas billigt och tillförlitligt automatiskt. Andra kan motivera långsammare, mänsklig uppmärksamhet.

Den centrala avvägningen handlar därför inte om ”människa mot AI”, utan om en kombination av träffsäkerhet, kostnad, snabbhet och motståndskraft mot avsiktlig manipulation. 1

En längre forskningsagenda

När Sampura har utvecklat bättre granskare vill organisationen undersöka om de kan minska så kallad reward hacking – när en modell optimerar belöningsmåttet utan att faktiskt uppnå det som människor avsåg under träningen. Organisationen vill också studera hur mycket mänsklig medverkan som behövs och hur övervakningssystem bör anpassas när grundmodeller lär sig att utnyttja dem. 1

På sikt kan domarna få fler uppgifter än att klassificera färdiga svar. Sampura nämner även att systemen ska kunna hjälpa till att utforma eller bedöma specifikationer, instruktioner, bedömningsmatriser och testfall som används för att träna och utvärdera AI.

Organisationen säger att resultaten ska publiceras genom forskningsartiklar, kod, dataset och topplistor. 1

Det tillgängliga lanseringsmaterialet stöder den övergripande planen för dataset, riktmärken, uppgiftsfördelning och verktyg för mänskliga bedömare. Det bekräftar däremot inte alla mer specifika projektnamn som har kopplats till organisationen, exempelvis ett särskilt dataset för ”framåtblickande skador” eller en färdig plattform med öppen källkod för mänsklig betygsättning. Sådana beskrivningar bör därför betraktas som obekräftade.

Rekryteringen visar hur hård kampen om kompetensen är

Sampura uppger att organisationen söker de första tekniska medarbetarna i London. Programmet kräver kunskaper inom bland annat maskininlärning, utvärderingsdesign, människa–datorinteraktion, datahantering och driftsättning. 1

Tidigare offentliga inlägg talade om minst sex nya forskare och löner på mellan 100 000 och 290 000 pund. De exakta beloppen och antalet aktuella tjänster bekräftas dock inte i organisationens lanseringsmeddelande. 1213

Samtidigt konkurrerar AI-utvärderingsfältet om en begränsad grupp specialister. METR:s annons för en teknisk utvärderingstjänst anger ett grundlöneintervall på 285 548–503 116 dollar och öppnar för högre lön till kandidater med exceptionell erfarenhet. 18

Skillnaden illustrerar Sampuras utmaning: tillförlitlig övervakning kräver både teknisk forskning och noggrann utvärdering i verkliga situationer, medan organisationerna som arbetar med frågan konkurrerar om många av samma personer.

En del av en större oro

Sampuras lansering kommer samtidigt som oron växer för att AI-utvecklingen ska springa ifrån systemen som ska övervaka den. I juli 2026 skrev fler än 1 100 anställda vid stora AI-bolag under ett öppet brev där de uppmanade USA:s regering att stödja internationella tekniska och styrande verktyg som vid behov skulle kunna bromsa utvecklingen av avancerad AI. Brevet krävde inte ett omedelbart stopp för AI-utvecklingen. 40

Det har också skett flera förändringar bland ledande AI-forskare. Reuters rapporterade om förändringar i ledningen för Googles AI-verksamhet och om framstående ingenjörer och forskare som lämnat företaget för andra bolag och nystartade verksamheter. 49 Det ger sammanhang till Sampuras bildande, men visar inte att organisationen har löst det underliggande säkerhetsproblemet.

Vad Sampura kan – och inte kan – hävda i dag

Det starkaste underlaget beskriver Sampura som en nystartad forskningsorganisation som bygger mät- och beslutsinfrastruktur för AI-övervakning. Organisationens riktmärken och hybrida metoder skulle längre fram kunna användas av AI-laboratorier, oberoende granskare eller andra aktörer som testar hur modeller beter sig. 1

Det är något annat än att bevisa att Sampura kan hålla avancerade AI-system under kontroll. Organisationens närmaste uppgift är att undersöka hur övervakning ska utformas och testas när modellen som övervakas är kapabel, anpassningsbar och potentiellt motiverad att klara sig igenom utvärderingen.

Sampuras grundidé är därmed tydlig: skalbar AI-säkerhet kommer sannolikt att kräva automatisering – men inte en automatisering som tar bort människan från de mest avgörande bedömningarna.