Sampura vil at mennesker fortsatt skal dømme KI

Sampura Research er en London-basert ideell organisasjon for KI-sikkerhet. Det grunnleggende spørsmålet er praktisk, men stadig viktigere: Hvem skal avgjøre om et stadig mer kapabelt KI-system oppfører seg riktig og trygt?

Sampuras svar er ikke å fjerne mennesker fra kontrollsløyfen. I stedet vil organisasjonen utvikle systemer der mennesker og KI deler på oppgaven med å føre tilsyn. Sampura opplyser at den har mottatt et innledende tilskudd på 11 millioner dollar fra Coefficient Giving: 7 millioner dollar for det første året og ytterligere 4 millioner dollar som er lovet. 1

Organisasjonens offentlige lansering er datert 25. august 2026, ikke 24. august. Kunngjøringen identifiserer Rishub Jain og Josh Jacob som grunnleggere. Tidligere innlegg i sosiale medier omtalte også arbeid sammen med Alex Adams, men lanseringskunngjøringen dokumenterer ikke at alle tre formelt grunnla organisasjonen. 112

Hva mener Sampura med en menneske–KI-dommer?

I Sampuras terminologi kan en dommer være et menneske, en KI-modell eller et hybridsystem som vurderer om en annen KI-modells atferd er korrekt og i tråd med målene. Det som vurderes, kan være ett enkelt svar, en samtale eller en flertrinns oppgaveløsning utført av en KI-agent. 1

Dette skillet er viktig fordi tilsyn ofte behandles som et separat problem fra selve modellens evner. En modell kan gi velformulerte svar eller løse kompliserte oppgaver, men samtidig villede den som evaluerer den, utnytte svakheter i belønningsfunksjonen eller utføre en farlig handling etter flere steg.

Sampura beskriver forskningsretningen som menneske–KI-komplementaritet for skalerbart tilsyn: automatisering der den er pålitelig, kombinert med menneskelig involvering når oppgaven krever skjønn, tolkning eller vurderinger som berører verdier. 1

Hvorfor Sampura avviser tilsyn som bare bruker KI

KI-systemer er attraktive som kontrollører fordi de kan arbeide raskere og billigere i stor skala. Men ifølge Sampura er ikke høy hastighet alene nok til å gjøre en evaluator pålitelig. I lanseringskunngjøringen trekkes flere risikoer frem:

• Ujevne evner: KI-prestasjoner kan være «ruglete». Et system kan være svært godt på enkelte oppgaver og overraskende svakt på andre.
• Overlappende feil: Menneskelige og KI-baserte kontrollører kan gjøre feil på samme steder, særlig når en modell optimaliseres mot selve evalueringsprosessen.
• Manipulasjon og samspill: Systemet som overvåkes, kan forsøke å utnytte, lure eller på andre måter påvirke en automatisert kontrollør.
• Nye situasjoner: Ukjente eller tvetydige tilfeller kan kreve menneskelig drøfting av verdier, ikke bare mekanisk bruk av tidligere innlærte preferanser.

Dette betyr ikke at menneskelige dommere alltid er bedre. Poenget er å undersøke hvilken kombinasjon av mennesker og maskiner som fungerer best under press, i stedet for å anta at alle saker bør håndteres av bare den ene parten. 1

Slik skal dommerne testes

Sampuras første seksmånedersprogram skal bygge en bred oversikt over dommere, med mer enn 20 deldatasett. Temaene skal blant annet omfatte avsløring av bedrag, kulturell skjevhet og utrygge handlinger utført av KI-agenter. 1

Evalueringene skal gå lenger enn statiske spørsmål-og-svar-tester. Sampura planlegger også situasjoner der modellen som overvåkes, direkte optimaliserer mot dommeren under forsterkende læring. Målet er å se om dommeren fortsatt fungerer når den evaluerte modellen har et insentiv til å finne og utnytte svakheter. 1

Forskerne skal sammenligne tre hovedtilnærminger:

1. Menneskelige dommere, som vurderer direkte.
2. KI-dommere, som gir større fart og skalerbarhet.
3. Hybride dommere, som fordeler eller samordner vurderingsarbeidet mellom mennesker og KI.

Målet er ikke bare å få en høy score på én smal test. Sampura ønsker dommere som er robuste på tvers av et bredt sett med evalueringer – og som fortsatt fungerer når modellene de overvåker, blir flinkere til å utnytte svakheter i kontrollsystemet. 1

Hvordan kan hybridkontroll se ut?

Organisasjonen har skissert flere mulige måter å kombinere menneskelig og maskinell dømmekraft på:

• En KI kan anslå hvor sikker den er, og sende usikre saker videre til et menneske.
• Et fordelingssystem kan avgjøre om en hel tilsynsoppgave skal utføres av et menneske eller en KI-evaluator.
• En komplisert oppgave kan deles opp i mindre deler, som deretter sendes til mennesker eller maskiner.
• Grensesnitt kan gi menneskelige vurderere verktøy som gjør krevende evalueringer raskere eller mer konsistente.

Menneskelig involvering blir dermed noe som skal optimaliseres, ikke et enten–eller. Noen saker kan vurderes billig og pålitelig automatisk. Andre kan kreve langsommere og mer grundig menneskelig oppmerksomhet. Den relevante avveiningen handler derfor ikke bare om «menneske mot KI», men om nøyaktighet, kostnad, hastighet og motstandsdyktighet mot bevisst manipulering. 1

Den langsiktige forskningsplanen

Når Sampura har utviklet bedre dommere, vil organisasjonen undersøke om de kan redusere såkalt belønningsjuks under trening av modeller. Den vil også studere hvor mye menneskelig involvering som faktisk trengs, hvordan tilsynssystemer bør tilpasses når grunnmodellene lærer å utnytte dem, og om dommere kan brukes til mer enn å klassifisere ferdige svar. 1

Dette kan blant annet innebære å utforme eller vurdere spesifikasjoner, instrukser, vurderingskriterier og testtilfeller som brukes til å trene og evaluere KI-systemer. Sampura sier at arbeidet skal publiseres gjennom forskningsartikler, kode, datasett og resultattavler. 1

Det tilgjengelige lanseringsmaterialet støtter et overordnet program for datasett, referansetester, oppgavefordeling og verktøy for menneskelige vurderere. Det dokumenterer ikke alle de mer spesifikke prosjektnavnene som har vært knyttet til organisasjonen, blant annet et navngitt datasett for «fremoverskuende skade» eller en bekreftet åpen plattform for menneskelig rangering. Disse beskrivelsene bør derfor behandles som ubekreftede, ikke som annonserte produkter.

Hvorfor rekrutteringen er viktig

Sampura sier at den rekrutterer de første tekniske medarbeiderne i London. Programmet krever kompetanse innen maskinlæring, evalueringsdesign, menneske–datamaskin-interaksjon, dataarbeid og utrulling av systemer. 1 Tidligere offentlige innlegg omtalte minst seks nye forskere og lønn på mellom 100 000 og 290 000 pund, men disse konkrete tallene er ikke bekreftet i organisasjonens lanseringskunngjøring. 1213

Feltet for KI-evaluering konkurrerer samtidig om en begrenset gruppe spesialister. METR oppgir i en egen stillingsannonse en grunnlønn på 285 548 til 503 116 dollar for en rolle innen gjennomføring av evalueringer, og skriver at organisasjonen kan vurdere høyere lønn for kandidater med svært lang erfaring. 18

Kontrasten illustrerer utfordringen Sampura står overfor: Pålitelig kontroll krever både teknisk forskning og grundig evaluering i virkelige situasjoner, mens organisasjonene som arbeider med problemet, konkurrerer om mange av de samme fagfolkene.

Del av en større bekymring

Lanseringen skjer samtidig som bekymringen øker for at utviklingen av KI kan løpe fra systemene som skal overvåke teknologien. I juli 2026 skrev mer enn 1 100 ansatte i store KI-selskaper under på et åpent brev der de ba amerikanske myndigheter støtte internasjonale tekniske og styringsmessige verktøy som ved behov kan bremse utviklingen av avansert KI. Brevet ba ikke om en umiddelbar stans i KI-utviklingen. 40

Det har også vært betydelig bevegelse blant ledende KI-forskere. Reuters har rapportert om endringer i ledelsen i Googles KI-divisjon og om profilerte ingeniører og forskere som har gått til andre selskaper og oppstartsbedrifter. 49 Dette gir kontekst for Sampuras etablering, men viser ikke at organisasjonen har løst det underliggende sikkerhetsproblemet.

Hva Sampura kan – og ikke kan – hevde nå

Det sterkeste kildegrunnlaget beskriver Sampura som en tidligfase-organisasjon som bygger måle- og beslutningsinfrastruktur for KI-tilsyn. Referansetestene og de hybride evalueringsmetodene kan etter hvert bli nyttige for KI-laboratorier, uavhengige evaluatorer og andre som tester hvordan modeller oppfører seg. 1

Det er noe annet enn å bevise at Sampura kan holde avanserte KI-systemer under kontroll. Det umiddelbare bidraget er å undersøke hvordan tilsyn bør utformes og testes når modellen som overvåkes, er kapabel, tilpasningsdyktig og kan ha insentiver til å bestå evalueringene ved å utnytte svakheter.

Sampuras hovedidé er dermed todelt: Skalerbar sikkerhet vil kreve automatisering – men ikke en automatisering som fjerner mennesker fra de mest avgjørende vurderingene.