Project Lily: So sollen Auftragnehmer echte ChatGPT-Unterhaltungen prüfen

404 Media beschreibt in seiner Recherche zu OpenAIs internem „Project Lily“ einen Prozess mit menschlichem Feedback, der auf echten ChatGPT-Unterhaltungen von Privatnutzern beruht. Nach Angaben des Mediums, das interne Unterlagen, Beispiel-Prompts und Stellungnahmen auswertete, können ausgelagerte Auftragnehmer den Gesprächskontext lesen, um Antworten des Modells zu bewerten – auch wenn darin sehr persönliche Informationen stehen. 1

Für alle, die ChatGPT zu Gesundheits-, Beziehungs-, Rechts- oder Arbeitsthemen nutzen, ist die entscheidende Erkenntnis: Die Bitte an den Chatbot, etwas „unter uns“ zu behalten, ist keine Zugriffsbeschränkung. Maßgeblich ist vielmehr, ob im Konto die Nutzung neuer Unterhaltungen zur Modellverbesserung aktiviert ist. 1

Was die Prüfer bei Project Lily laut Bericht tun

404 Media zufolge bewerten Hunderte über Personaldienstleister beschäftigte Auftragnehmer einen großen Strom echter ChatGPT-Unterhaltungen. Sie sollen dafür mehr als 50 US-Dollar pro Stunde erhalten. Zu ihren Aufgaben gehören demnach:

• die Absicht hinter einer Nutzeranfrage zusammenzufassen;
• vier mögliche Modellantworten miteinander zu vergleichen;
• Antworten auf einer Skala von 1 bis 7 zu bewerten; und
• Verhaltensweisen zu markieren, die Antworten weniger nützlich oder weniger vertrauenswürdig machen. 1

Die Bewertungskriterien sollen die Qualität und den Ton der Antworten verbessern. Prüfer werden laut Bericht angewiesen, künstlich klingende Formulierungen, sachliche Fehler, übermäßig zustimmende oder anbiedernde Sprache, Sicherheitsprobleme und Antworten zu kennzeichnen, in denen das Modell fälschlich persönliche Erfahrungen oder Gefühle behauptet. 1

Dieser Feedback-Kreislauf soll ChatGPT natürlicher und weniger mechanisch wirken lassen. Zugleich kann die Qualitätsverbesserung bedeuten, dass Menschen Einblick in den Inhalt von Nutzerunterhaltungen erhalten. 1

Warum ein entfernter Nutzername nicht zwingend Anonymität bedeutet

OpenAI teilte 404 Media mit, dass Nutzernamen entfernt und Inhalte vor der Weitergabe an Prüfer durch einen Datenschutzfilter laufen. Die Recherche fand jedoch Beispiele, bei denen Prüfmaterial den vollständigen Gesprächskontext und vom Modell erstellte Speicherzusammenfassungen enthalten konnte. Darin standen dem Bericht zufolge etwa ungefähre Aufenthaltsorte, Berufe und sehr persönliche Lebensumstände. 1

Das Problem liegt in der Identifizierbarkeit durch den Kontext: Selbst ohne Namen oder Kontokennung kann die Kombination aus Lebensereignissen, beruflichen Details, Ortsangaben oder ungewöhnlichen Verweisen eine Unterhaltung für Menschen aus dem Umfeld wiedererkennbar machen – oder ihre Offenlegung zumindest besonders heikel machen. OpenAI räumte laut 404 Media ein, dass Filter bei seltenen Identifikatoren sowie mehrdeutigen, vom Kontext abhängigen privaten Angaben an Grenzen stoßen können. 1

„Bitte behalte das für dich“ verhindert keine Prüfung

Eine Bitte an ChatGPT, ein Gespräch vertraulich zu behandeln, ist lediglich eine Anweisung innerhalb des Chats. Sie ändert nicht die Datennutzungseinstellungen des Kontos und verhindert nicht, dass eine Unterhaltung für einen im Bericht beschriebenen Verbesserungsprozess ausgewählt wird. 1

Private Chatbots sollten deshalb nicht allein deshalb als vertraulicher Kanal behandelt werden, weil sich das Gespräch persönlich anfühlt. Wer Angaben nicht gegenüber autorisierten Prüfern offenlegen möchte, sollte sie besser nicht in einem persönlichen Workspace eingeben, in dem die Modellverbesserung aktiviert ist.

So werden neue ChatGPT-Unterhaltungen von der Modellverbesserung ausgeschlossen

Laut OpenAIs Dokumentation zu den Datenkontrollen können Nutzer eines persönlichen Workspaces die Modellverbesserung folgendermaßen deaktivieren:

1. Profil → Einstellungen
2. Datenkontrollen
3. „Das Modell für alle verbessern“ ausschalten

Ist die Option deaktiviert, bleiben neue Unterhaltungen zwar im Chatverlauf sichtbar, werden laut OpenAI aber nicht zum Trainieren oder Verbessern der ChatGPT-Modelle verwendet. Die Einstellung gilt für das Konto und nicht nur für ein bestimmtes Gerät.

Der Zeitpunkt ist wichtig: Nach Angaben von OpenAI betrifft ein Opt-out neue Unterhaltungen. Chats, die bereits bei aktivierter Modellverbesserung übermittelt wurden, werden dadurch nicht nachträglich aus diesem Prozess entfernt.

Was für Business-, Enterprise- und Edu-Konten gilt

OpenAI erklärt, Eingaben und Ausgaben aus ChatGPT Business, Enterprise, Edu sowie der API-Plattform standardmäßig nicht zum Training seiner Modelle zu verwenden. Für ChatGPT Free, Plus und Pro in persönlichen Workspaces ist die Weitergabe zur Modellverbesserung dagegen standardmäßig aktiviert; sie lässt sich über die Datenkontrollen abschalten.

Das entbindet Organisationen nicht von eigenen Datenschutz- und Compliance-Vorgaben. Teams sollten weiterhin die Richtlinien ihres Arbeitgebers und die Einstellungen ihres jeweiligen Workspaces prüfen. Gegenüber der Standardbehandlung privater Chats ist dies aber ein wichtiger Unterschied.

Ist menschliche Kontrolle bei KI-Anbietern ungewöhnlich?

Nein. Menschliches Feedback ist keine OpenAI-Besonderheit. In der Datenschutzerklärung von Anthropic heißt es, dass das Unternehmen seine Modelle mit Eingaben und Ausgaben von Nutzern oder Crowdworkern trainieren und verbessern kann, sofern Nutzer nicht widersprechen. Auch eine wissenschaftliche Analyse der Datenschutzpraktiken großer KI-Anbieter stellte fest, dass Google und OpenAI die menschliche Prüfung von Nutzerchats zur Schulung oder Verbesserung von Modellen thematisieren.

Die grundsätzliche Frage ist daher nicht, ob menschliche Prüfer eingesetzt werden. Entscheidend ist, ob Nutzer nachvollziehen können, wann ihre Gespräche in einen solchen Prozess gelangen können, was eine De-Identifizierung leisten kann – und was nicht – und wie sich die jeweils geltenden Einstellungen ändern lassen.

Das Wichtigste für die Privatsphäre

„Project Lily“ zeigt, soweit die Recherche von 404 Media reicht: Ein privater KI-Chat ist nicht automatisch ein vertrauliches Vier-Augen-Gespräch. Maßnahmen zur De-Identifizierung können die Preisgabe von Daten verringern, aber aus einer Unterhaltung mit vielen persönlichen Kontextinformationen nicht unbedingt alle aufschlussreichen Details entfernen. 1

Vor sensiblen Eingaben in ChatGPT empfiehlt sich ein Blick auf Einstellungen → Datenkontrollen → „Das Modell für alle verbessern“. Ist die Modellverbesserung aktiviert, sollten neue Chats als potenziell für die Verbesserung des Dienstes nutzbar betrachtet werden. Ist sie deaktiviert, werden neue Unterhaltungen laut OpenAI nicht zu diesem Zweck verwendet.