Sampura Research will die menschliche Kontrolle über leistungsfähige KI skalierbar machen

Sampura Research ist eine in London ansässige Non-Profit-Organisation für KI-Sicherheit. Gegründet wurde sie von den ehemaligen Google-DeepMind-Forschern Rishub Jain und Josh Jacob. Nach der eigenen Ankündigung ging die Organisation am 25. August 2026 öffentlich an den Start – nicht am 24. August. Alex Adams wird dort für Feedback zur Mitteilung gewürdigt, aber nicht als Mitgründer genannt. Finanziert wird Sampura durch eine zunächst zugesagte Förderung von 11 Millionen US-Dollar von Coefficient Giving: 7 Millionen Dollar für das erste Jahr und weitere 4 Millionen als zusätzliche Zusage. 4

Der Streitpunkt: Wer soll KI überwachen?

Viele Ansätze für sogenannte skalierbare Aufsicht setzen auf große Sprachmodelle als Richter oder Prüfer. Sie sollen bewerten, ob die Antworten und Handlungen eines anderen KI-Systems korrekt, sicher und mit den gewünschten Zielen vereinbar sind. Der Vorteil: KI-Prüfer arbeiten schneller und kostengünstiger als Menschen.

Sampura hält diesen Ansatz jedoch für unvollständig. Menschen könnten bestimmte Fehler weiterhin besser erkennen – etwa die ungleichmäßigen, schwer vorhersehbaren Schwächen leistungsfähiger Modelle. Diese „zerklüfteten“ Fehlerbilder entstehen, wenn ein System in vielen Bereichen sehr leistungsfähig ist, bei scheinbar einfachen Aufgaben aber überraschend versagt. Menschen könnten außerdem als unabhängige Kontrollinstanz dienen, falls sich Modell und KI-Prüfer gegenseitig täuschen oder wenn neue, gesellschaftlich umstrittene Wertfragen auftauchen. 4

Die Grundidee lautet deshalb nicht, jede KI-Antwort von Hand zu kontrollieren. Stattdessen soll menschliches Urteil dort eingesetzt werden, wo es den größten Sicherheitsgewinn verspricht.

Was sind hybride „Richter“?

Sampura verwendet den Begriff „Judge“ für eine Person, eine KI oder ein kombiniertes Mensch-KI-System, das das Verhalten eines Modells bewertet. Ein solcher Prüfer soll beispielsweise feststellen, ob die Antwort eines Chatbots korrekt ist oder ob ein KI-Agent bei einer längeren Handlungskette gegen Sicherheitsvorgaben verstößt.

Geplant sind mehrere Bausteine:

• KI-Prüfer sollen ihre eigene Sicherheit beziehungsweise Unsicherheit einschätzen. Fälle mit geringer Zuversicht könnten an Menschen weitergeleitet werden.
• Ein sogenannter Router könnte Aufgaben oder Teilaufgaben zwischen Menschen und KI verteilen.
• Menschen sollen jeweils passende KI-Hilfsmittel erhalten, damit sie anspruchsvolle Bewertungen schneller und konsistenter durchführen können.
• Das System soll die Kosten, Geschwindigkeit und Qualität menschlicher Beteiligung gegeneinander abwägen.

Sampura spricht damit nicht von einer vollständigen Rückkehr zur manuellen Kontrolle, sondern von einer gezielten Arbeitsteilung zwischen Mensch und Maschine. 4

Benchmarks gegen Täuschung und „Reward Hacking“

In den ersten sechs Monaten will Sampura ein öffentliches, laufend aktualisiertes Ranking für KI-Prüfer aufbauen. Es soll mehr als 20 Teildatensätze umfassen, unter anderem zu:

• der Erkennung von Täuschung,
• kulturellen Verzerrungen,
• unsicheren Handlungen autonomer KI-Agenten,
• sowie weiteren Fehlern und Gefahren, die bei leistungsfähigeren Modellen auftreten können. 4

Dabei sollen Prüfer nicht nur an statischen Beispielen getestet werden. Sampura will auch untersuchen, wie sie sich verhalten, wenn das überwachte Modell im Rahmen des Reinforcement Learning gezielt versucht, die Bewertungskriterien auszunutzen. Dieser Test ist wichtig, weil ein Modell möglicherweise lernt, gute Bewertungen zu erhalten, ohne tatsächlich sicherer oder zuverlässiger zu werden. In der KI-Sicherheitsforschung wird dieses Ausnutzen von Belohnungssignalen als Reward Hacking bezeichnet.

Die Organisation kündigt an, Forschungsergebnisse, Quellcode, Datensätze und Ranglisten öffentlich bereitzustellen. 4

Der Blick über das klassische „Rogue AI“-Szenario hinaus

Sampura will sich nicht ausschließlich auf das hypothetische Szenario konzentrieren, dass eine KI außer Kontrolle gerät. Zum angekündigten Forschungsfeld gehören auch Verzerrungen, riskante Interaktionen mit Kindern und eine problematische Abhängigkeit von KI-Begleitern.

Später soll die Arbeit über die Bewertung fertiger Antworten hinausgehen. Dann könnten auch die zugrunde liegenden Anweisungen, Bewertungsregeln und Testfälle von Menschen und KI erstellt beziehungsweise geprüft werden. Das könnte helfen, Risiken früher zu erkennen. Es bleibt allerdings ein Forschungsprogramm: Aus der Ankündigung folgt noch nicht, dass Sampura bereits eine verlässliche Methode zur Eindämmung fortgeschrittener KI entwickelt hat. 4

Vom Benchmark zur praktischen Nutzung

Entscheidend wird sein, ob bessere Prüfer in der Praxis tatsächlich weniger Reward Hacking ermöglichen. Sampura will deshalb untersuchen, wann ein Prüfsystem wegen veränderter Modelle neu trainiert werden muss und wie sich menschliche Beteiligung effizient einsetzen lässt.

Zunächst könnte die Organisation ihre Methoden mit unabhängigen externen Evaluatoren testen. Langfristig ist eine Nutzung in der Ausbildung und Prüfung besonders leistungsfähiger Modelle sowie bei deren laufender Überwachung denkbar. Ob Labore solche Systeme übernehmen und ihnen ausreichend Zugang zu ihren Modellen gewähren, ist jedoch noch offen. 4

Warum Fachkräfte für KI-Evaluation so knapp sind

Der Personalbedarf ist ein zentraler Engpass. Die unabhängige Organisation METR schrieb für eine technische Evaluationsstelle ein jährliches Grundgehalt von 285.548 bis 503.116 US-Dollar aus und schloss für außergewöhnlich erfahrene Bewerber eine noch höhere Vergütung nicht aus. Das zeigt, wie stark um Fachleute konkurriert wird, die leistungsfähige KI-Systeme testen und ihre Risiken beurteilen können. 9

Sampura kündigt an, Gründungsmitarbeiter für sein technisches Team in London einzustellen. Für die konkretere Behauptung, dass mindestens sechs Personen mit Jahresgehältern zwischen 100.000 und 290.000 Pfund rekrutiert werden sollen, gibt es in den verfügbaren Primärquellen jedoch keine ausreichende Bestätigung. Die eigene Mitteilung spricht lediglich von offenen Stellen für technische Gründungsmitarbeiter in London. 4

Ergänzung zu Regulierung und Governance

Im Juli 2026 unterzeichneten mehr als 1.100 Beschäftigte aus führenden KI-Unternehmen einen offenen Brief. Darin forderten sie internationale technische und politische Instrumente, mit denen sich die Entwicklung sogenannter Frontier-KI bei Bedarf gezielt verlangsamen lässt – insbesondere dann, wenn sie schneller voranschreitet, als Menschen sie sicher überwachen können. 1

Sampura könnte dafür eine technische Grundlage liefern: glaubwürdigere, überprüfbare und unabhängige Bewertungen. Die Organisation kann aber weder gesetzliche Befugnisse schaffen noch internationale Zusammenarbeit organisieren, Zugriff auf Modelle erzwingen oder Regeln durchsetzen. Ihre Arbeit wäre daher eine Ergänzung zu politischer Governance, kein Ersatz dafür.

Was bedeutet Jain’s Abschied von DeepMind?

Rishub Jains Weggang fiel in eine Phase, in der mehrere prominente DeepMind-Forscher das Unternehmen verließen. Die häufig wiederholte Darstellung, Google DeepMind habe binnen sechs Tagen fünf Kernforscher verloren, stammt jedoch offenbar aus schwächerer Sekundärberichterstattung und ist durch die hier verfügbaren belastbaren Quellen nicht unabhängig abgesichert. 5

Auch die weitreichende Aussage, KI-Unternehmen könnten „nicht kontrollieren, was sie gebaut haben“, lässt sich aus den vorliegenden Belegen nicht ableiten. Die vorsichtigere Schlussfolgerung ist: Die robuste Aufsicht über immer leistungsfähigere Modelle ist weiterhin nicht bewiesen, qualifizierte Evaluationsfachleute sind knapp, und Sampura versucht, menschliche Kontrolle skalierbarer und widerstandsfähiger zu machen.

Der Ansatz ist damit weniger ein Versprechen, dass Menschen jede KI-Aufgabe selbst übernehmen, als ein Gegenentwurf zur Annahme, KI könne andere KI-Systeme automatisch sicher überwachen.