Sampura Research setzt bei der KI-Aufsicht auf Mensch und Maschine

Sampura Research stellt eine praktische, aber grundlegende Frage: Wer soll entscheiden, ob ein immer leistungsfähigeres KI-System korrekt und sicher handelt? Die Londoner Nonprofit-Organisation will diese Aufgabe nicht vollständig an andere KI-Systeme delegieren. Stattdessen erforscht sie eine Kombination aus menschlicher und maschineller Aufsicht.\n\nNach eigenen Angaben hat Sampura zunächst eine Förderung von 11 Millionen US-Dollar von Coefficient Giving erhalten: 7 Millionen US-Dollar sind für das erste Jahr vorgesehen, weitere 4 Millionen wurden zugesagt. 1\n\nDie öffentliche Vorstellung der Organisation ist auf den 25. August 2026 datiert, nicht auf den 24. August. Als Gründer nennt die Ankündigung Rishub Jain und Josh Jacob. Frühere Beiträge in sozialen Netzwerken erwähnten außerdem Alex Adams; daraus lässt sich jedoch nicht sicher ableiten, dass alle drei die Nonprofit-Organisation formell gegründet haben. 112\n\n## Was Sampura unter einem KI-„Richter“ versteht\n\nBei Sampura kann ein Richter – im englischen Original „judge“ – ein Mensch, ein KI-Modell oder ein hybrides System sein. Seine Aufgabe besteht darin, zu beurteilen, ob das Verhalten eines anderen KI-Systems korrekt und mit den gewünschten Vorgaben vereinbar ist. Bewertet werden können eine einzelne Antwort, ein Gespräch oder die gesamte Abfolge von Schritten eines autonomen KI-Agenten. 1\n\nDas ist relevant, weil die Aufsicht über KI häufig getrennt von der eigentlichen Leistungsfähigkeit eines Modells betrachtet wird. Ein System kann überzeugend formulieren oder komplizierte Aufgaben lösen und dennoch seine Prüfer täuschen, Lücken in einer Belohnungsfunktion ausnutzen oder während einer längeren Handlungskette eine gefährliche Entscheidung treffen. Sampuras Forschungsprogramm soll bessere Verfahren entwickeln, um solche Fehler zu erkennen.\n\nDie Organisation bezeichnet diesen Ansatz als „Human-AI Complementarity for Scalable Oversight“, also als menschlich-maschinelle Ergänzung für eine skalierbare Aufsicht: Automatisierung soll dort zum Einsatz kommen, wo sie zuverlässig ist – während Menschen bei schwierigen Interpretationen, Wertentscheidungen und unklaren Fällen eingebunden bleiben. 1\n\n## Warum eine reine KI-Aufsicht nicht ausreichen soll\n\nKI als Prüfer ist zunächst attraktiv: Sie arbeitet schnell, lässt sich vergleichsweise günstig vervielfältigen und könnte große Mengen an Bewertungen übernehmen. Sampura warnt jedoch davor, Geschwindigkeit mit Verlässlichkeit gleichzusetzen. In der Ankündigung werden mehrere Risiken genannt:\n\n- Ungleichmäßige Fähigkeiten: KI kann auf manchen Aufgaben sehr leistungsfähig sein und bei scheinbar ähnlichen Problemen unerwartet schwach abschneiden. Dieses „zerklüftete“ Leistungsprofil wird oft als „jagged“ bezeichnet.\n- Gemeinsame Fehler: Menschliche und maschinelle Prüfer könnten sich bei bestimmten Fehlern überschneiden – insbesondere dann, wenn ein Modell gezielt gegen das Bewertungssystem optimiert wird.\n- Manipulation und mögliche Absprachen: Das überwachte System könnte versuchen, einen automatisierten Prüfer auszunutzen, zu täuschen oder zu beeinflussen.\n- Neue und mehrdeutige Situationen: In unbekannten Fällen kann es nötig sein, Werte und Prioritäten abzuwägen, statt lediglich erlernte Präferenzen anzuwenden.\n\nDamit behauptet Sampura nicht, dass Menschen grundsätzlich bessere Prüfer sind. Die zentrale Frage lautet vielmehr: Welche Kombination aus menschlicher und maschineller Bewertung bleibt auch unter Druck zuverlässig? 1\n\n## So soll die Forschung geprüft werden\n\nDas erste sechsmonatige Programm konzentriert sich auf eine vielseitige Rangliste für KI-Richter. Sie soll mehr als 20 Teildatensätze umfassen. Geplant sind unter anderem Tests zur Erkennung von Täuschung, zu kulturellen Verzerrungen und zu unsicheren Handlungen von KI-Agenten. 1\n\nDie geplanten Prüfungen sollen über statische Frage-Antwort-Tests hinausgehen. Sampura will auch Szenarien untersuchen, in denen das überwachte Modell während des Reinforcement Learning direkt gegen den Prüfer optimiert. So soll sichtbar werden, ob ein Richter weiterhin funktioniert, wenn das bewertete System einen Anreiz hat, Schwachstellen in der Prüfung zu finden und auszunutzen. 1\n\nVerglichen werden drei grundlegende Ansätze:\n\n1. Menschliche Richter, die Bewertungen direkt vornehmen.\n2. Rein maschinelle Richter, die schneller und in größerem Umfang arbeiten können.\n3. Hybride Richter, die Prüfungsaufgaben zwischen Menschen und KI aufteilen oder koordinieren.\n\nEntscheidend soll nicht sein, auf einem einzelnen, engen Test besonders gut abzuschneiden. Sampura sucht nach Prüfern, die über eine breite Testpalette hinweg robust bleiben – auch dann, wenn die überwachten Modelle immer besser darin werden, Bewertungsschwächen zu erkennen. 1\n\n## Wie eine hybride Aufsicht aussehen könnte\n\nSampura nennt mehrere mögliche Modelle für die Zusammenarbeit von Menschen und KI:\n\n- Eine KI könnte ihre eigene Sicherheit einschätzen und unsichere Fälle an einen Menschen weiterleiten.\n- Ein Verteiler könnte eine komplette Prüfungsaufgabe entweder einem Menschen oder einem KI-System zuweisen.\n- Eine komplexe Aufgabe könnte in kleinere Teilaufgaben zerlegt werden, die jeweils an Menschen oder Maschinen gehen.\n- Spezielle Benutzeroberflächen könnten menschliche Prüfer dabei unterstützen, schwierige Bewertungen schneller und einheitlicher vorzunehmen.\n\nMenschliche Beteiligung wäre damit keine Alles-oder-nichts-Entscheidung. Einfache Fälle könnten automatisiert geprüft werden; aufwendigere oder folgenreichere Situationen würden menschliche Aufmerksamkeit erhalten. Der eigentliche Zielkonflikt lautet deshalb nicht „Mensch gegen KI“, sondern: Wie lassen sich Genauigkeit, Kosten, Geschwindigkeit und Widerstandsfähigkeit gegen gezielte Manipulation miteinander verbinden? 1\n\n## Was danach kommen soll\n\nSobald bessere Richter entwickelt sind, will Sampura prüfen, ob sie sogenanntes Reward Hacking beim Training von Modellen reduzieren können. Gemeint ist, dass ein System eine Belohnungsfunktion formal erfüllt, ohne tatsächlich das gewünschte Ziel zu erreichen. Außerdem will die Organisation untersuchen, wie viel menschliche Beteiligung jeweils nötig ist und wie sich Prüfer anpassen müssen, wenn die zugrunde liegenden Modelle lernen, ihre Schwächen auszunutzen. 1\n\nDie Richter sollen nach Sampuras Plänen nicht nur fertige Ausgaben klassifizieren. Sie könnten auch dabei helfen, Spezifikationen, Anweisungen, Bewertungsmaßstäbe und Testfälle zu entwerfen oder zu prüfen. Ergebnisse sollen in Form von wissenschaftlichen Arbeiten, Code, Datensätzen und Ranglisten veröffentlicht werden. 1\n\nDie verfügbaren Startinformationen belegen dieses allgemeine Programm aus Datensätzen, Benchmarks, Weiterleitungssystemen und Werkzeugen für menschliche Prüfer. Sie bestätigen jedoch nicht jede konkretere Projektbezeichnung, die mit Sampura in Verbindung gebracht wurde. Dazu gehören insbesondere ein ausdrücklich so benannter Datensatz zu „forward-looking harm“ sowie eine bestätigte Open-Source-Plattform für menschliche Bewertungen. Diese Beschreibungen sind daher als unbestätigt zu behandeln.\n\n## Warum die Suche nach Personal viel über das Vorhaben aussagt\n\nSampura sucht nach eigenen Angaben Gründungsmitarbeitern im technischen Bereich in London. Für das Programm sind Kenntnisse in maschinellem Lernen, Evaluationsdesign, Mensch-Computer-Interaktion, Datenprozessen und dem praktischen Einsatz von Systemen nötig. 1 Frühere öffentliche Beiträge nannten mindestens sechs weitere Forschende und Gehälter zwischen 100.000 und 290.000 Pfund. Diese konkreten Zahlen werden in der offiziellen Startankündigung jedoch nicht bestätigt. 1213\n\nWie umkämpft der Markt für Fachleute in diesem Bereich ist, zeigt eine Ausschreibung von METR. Für eine Stelle im Bereich „Evaluation Execution“ nennt das Unternehmen ein Grundgehalt von 285.548 bis 503.116 US-Dollar und erklärt, bei außergewöhnlich erfahrenen Bewerbern auch eine höhere Vergütung prüfen zu wollen. 18\n\nFür Sampura bedeutet das: Die Organisation muss gleichzeitig technische Forschung und sorgfältige praktische Evaluation aufbauen – und konkurriert dabei mit anderen Einrichtungen um einen kleinen Kreis spezialisierter Fachkräfte.\n\n## Ein Teil der größeren Debatte über KI-Kontrolle\n\nSampuras Start fällt in eine Zeit, in der zunehmend darüber diskutiert wird, ob die Entwicklung leistungsfähiger KI schneller voranschreitet als die Systeme zu ihrer Überwachung. Im Juli 2026 unterzeichneten mehr als 1.100 Beschäftigte großer KI-Unternehmen einen offenen Brief. Darin forderten sie die US-Regierung auf, internationale technische und politische Instrumente zu unterstützen, mit denen sich die Entwicklung von Frontier-KI bei Bedarf gezielt verlangsamen ließe. Der Brief verlangte keinen sofortigen Entwicklungsstopp. 40\n\nAuch in der KI-Forschung gab es 2026 bedeutende Wechsel. Reuters berichtete über Veränderungen in der Führung von Googles KI-Sparte sowie über den Weggang prominenter Ingenieure und Forschender zu anderen Unternehmen und Start-ups. 49 Diese Entwicklungen liefern Kontext für Sampuras Gründung, beweisen aber nicht, dass die Nonprofit-Organisation das zugrunde liegende Sicherheitsproblem bereits gelöst hätte.\n\n## Was Sampura heute beanspruchen kann – und was nicht\n\nDie belastbarsten Informationen beschreiben Sampura als junge Forschungsorganisation, die Mess- und Entscheidungsinfrastruktur für die KI-Aufsicht entwickeln will. Ihre Benchmarks und hybriden Bewertungsverfahren könnten später für KI-Labore, unabhängige Prüforganisationen oder andere Stellen nützlich sein, die das Verhalten von Modellen testen. 1\n\nDas ist etwas anderes als der Nachweis, Frontier-Systeme kontrollieren zu können. Sampuras unmittelbarer Beitrag besteht darin, zu untersuchen, wie Aufsicht gestaltet und geprüft werden muss, wenn das überwachte Modell leistungsfähig, anpassungsfähig und möglicherweise motiviert ist, seine Bewertungen zu bestehen. Die zentrale These lautet: Für eine skalierbare KI-Sicherheit wird Automatisierung nötig sein – aber keine Automatisierung, die Menschen aus den folgenreichsten Entscheidungen verdrängt.