Warum OpenAI Auftragnehmer wegen KI-Einsatz bei ChatGPT-Bewertungen gefeuert haben soll

Project Lily ist laut Recherchen von 404 Media ein Programm zur menschlichen Qualitätsprüfung: Auftragnehmer bewerten ChatGPT-Antworten, damit künftige Modellversionen besser auf Nutzer reagieren. Genau deshalb sollen Beschäftigte entfernt worden sein, die generative KI für diese Bewertung einsetzten. Der Wert der Daten soll aus eigenständigen menschlichen Urteilen entstehen. Liefert stattdessen ein Modell das Urteil, misst die Pipeline nicht mehr sauber, was Menschen bevorzugen. 1920

Was Prüfer bei Project Lily laut Berichten machen

Die Prüfer erhalten demnach echte ChatGPT-Anfragen und teils vollständige Unterhaltungen. Sie fassen die Absicht der Nutzer zusammen, vergleichen mögliche Antworten und vergeben Noten auf einer Skala von 1 bis 7. Pro Aufgabe können bis zu vier Antwortvarianten vorliegen. Im Mittelpunkt stehen Verhaltensaspekte wie Tonfall, übertriebene Schmeichelei beziehungsweise Anbiederung und zu menschlich wirkende Selbstdarstellung – nicht bloß die sachliche Richtigkeit. 819

Aus solchen Bewertungen können Präferenzdaten entstehen: strukturierte Angaben dazu, welche Antwort ein Mensch in einem bestimmten Kontext für besser hält. Für das Training sind sie nur dann aussagekräftig, wenn die Urteile konsistent, informiert und unabhängig zustande kommen.

Project Lily soll Hunderte externe Prüfer beschäftigen. Den Berichten zufolge werden sie über Crossing Hurdles rekrutiert und über Mercor bezahlt; ein Prüfer nannte eine Vergütung von mehr als 50 US-Dollar pro Stunde. Für OpenAIs breiteres Bewertungssystem ist separat von mehr als 10.000 Auftragnehmern die Rede. Diese Zahl ist nicht mit der Größe von Project Lily gleichzusetzen. 196

Warum KI-generierte Bewertungen den Zweck verfehlen

Eine KI kann Bewertungen schnell erstellen und für interne Tests durchaus nützlich sein. Sie beantwortet jedoch eine andere Frage als eine menschliche Präferenzbewertung. Ein Modell neigt dazu, Muster aus seinem Training zu wiederholen und Antworten mit vertrauter Sprache, Stil oder Annahmen zu bevorzugen.

Wird die Ausgabe eines Modells – oder eines eng verwandten Modells – wiederholt genutzt, um spätere Modellausgaben zu belohnen, kann eine Rückkopplungsschleife entstehen:

1. Das bewertende Modell bevorzugt Antworten, die seinen bisherigen Präferenzen ähneln.
2. Das Training belohnt genau diese Antworten.
3. Die nächste Modellversion erzeugt solche Muster mit höherer Wahrscheinlichkeit.
4. Andere Stile, Minderheitenpräferenzen oder Antworten, die das Bewertungsmodell nicht gut beurteilen kann, erhalten weniger hilfreiches Feedback.

Das beweist nicht, dass jede KI-gestützte Bewertung ein Modell verschlechtert. Automatisierte Evaluation kann wertvoll sein, wenn sie gegen menschliche Urteile validiert wird und klar begrenzt bleibt. Ersetzt sie aber eine Arbeit, die ausdrücklich als menschliche Präferenzdatenerhebung beauftragt wurde, schwächt sie die Unabhängigkeit des Trainingssignals. Das ist offenbar der Grund für das berichtete Verbot.

Wie mutmaßlicher KI-Einsatz erkannt werden sollte

Laut Berichten sollten Vorgesetzte sich nicht auf KI-Textdetektoren wie GPTZero stützen. Stattdessen sollten sie Arbeitsmuster und Texte selbst prüfen – etwa auffallend einheitliche Formulierungen, Satzzeichen- oder Formatierungsmuster sowie unrealistisch schnelle Bearbeitungszeiten. 6

Das hat eine klare Grenze: Keines dieser Merkmale beweist für sich allein KI-Nutzung. Wer schnell schreibt, kann schlicht erfahren sein; ähnliche Formulierungen können auf eine gemeinsame Bewertungsanleitung zurückgehen. Solche Hinweise sollten daher Anlass für eine Prüfung sein, nicht automatisch als ausreichender Beleg für den Ausschluss gelten.

Warum die konkreten Erkennungskriterien nicht öffentlich sind

Organisationen veröffentlichen detaillierte Anti-Manipulationskriterien meist nicht. Eine präzise Checkliste könnte zur Anleitung werden, wie man die Kontrollen umgeht – etwa durch bewusst veränderte Formulierungen, künstliche Pausen oder andere Formatierungen, während die eigentliche Bewertung weiterhin von einem Modell stammt.

Gleichzeitig birgt Geheimhaltung Risiken. Wenn Beschäftigte nicht nachvollziehen können, wie eine Qualitätsentscheidung zustande kam, lassen sich Fehlentscheidungen schwerer anfechten. Ein belastbares System braucht deshalb vertrauliche Erkennungsmethoden, aber auch klare Regeln, dokumentierte Entscheidungen und eine echte Möglichkeit zur Korrektur oder Berufung.

Mercors berichtete Regel

Mercor soll erklärt haben, dass der Einsatz von KI zur Durchführung dieser Bewertungsarbeit gegen die Regeln verstößt. Bestätigte Fälle führten demnach zum sofortigen Ausschluss aus dem jeweiligen Projekt. Den Berichten zufolge untersagten die Vorgaben KI-Hilfen generell – auch Werkzeuge, die Feedback oder Kommentare formulieren. 640

Das Problem mit menschlichem Feedback reicht weiter

Der berichtete Fall absichtlich schlechter Bewertungen zeigt das grundsätzliche Problem: „Menschliches Feedback“ ist nicht automatisch zuverlässig, nur weil ein Mensch es eingereicht hat. Prüfer können hastig arbeiten, Vorgaben missverstehen, auf möglichst hohen Durchsatz optimieren, absichtlich schaden oder intransparente Qualitätssysteme austricksen wollen.

Das ist ebenso ein Anreizproblem wie ein technisches Problem. Der Modellentwickler braucht sorgfältige, gutgläubige und abgestimmte Urteile, die besseres Verhalten in der Praxis vorhersagen. Auftragnehmer werden möglicherweise vor allem für Geschwindigkeit, erledigte Aufgaben oder das Vermeiden einer Ablehnung belohnt. Fallen diese Anreize auseinander, können die Daten verrauscht oder systematisch verzerrt sein.

Welche Schutzmechanismen die Bewertung stärken

Menschliche Prüfung bleibt wichtig, wenn Urteile kontextabhängig, subjektiv oder automatisch schwer zu überprüfen sind. Am besten funktioniert sie jedoch als System mehrerer Kontrollen statt als bloße Sammlung einzelner Noten. Sinnvolle Maßnahmen sind:

• Unabhängige Doppelbewertungen: Mehrere Prüfer bewerten einen Teil derselben Aufgaben; Abweichungen werden untersucht.
• Kalibrierungsaufgaben: Bekannte Beispiele prüfen, ob Prüfer die Bewertungsregeln richtig verstehen.
• Qualitätsaudits: Auffällige Muster werden untersucht, ohne ein einzelnes Stilmerkmal als Beweis zu behandeln.
• Klare Rollentrennung: Produktionsbewertung, Qualitätssicherung und Einspruchsverfahren bleiben getrennt.
• Überprüfung der Ergebnisse: Es wird getestet, ob hoch bewertete Daten das Modellverhalten für Nutzer tatsächlich verbessern.
• Datenschutzkontrollen: Prüfer sollten nur das Nötigste sehen; außerdem muss fortlaufend geprüft werden, ob Filter sensible Angaben übersehen. Die Berichte zu Project Lily weisen darauf hin, dass Gespräche trotz Anonymisierungsversuchen persönliche Informationen enthalten können. 19

Die zentrale Erkenntnis ist einfach: Präferenztraining ist nur so vertrauenswürdig wie der Prozess, der diese Präferenzen erzeugt. Menschliche Prüfer sind keine automatische Qualitätsgarantie – und KI-generierte Urteile können unabhängliches menschliches Feedback nicht einfach ersetzen, wenn ein Modell lernen soll, was Menschen tatsächlich wichtig ist.