Project Lily: revisores humanos habrían accedido a conversaciones reales de ChatGPT

La investigación de 404 Media sobre una iniciativa interna de OpenAI llamada Project Lily describe un programa estructurado de evaluación humana basado en conversaciones reales de ChatGPT. La cuestión de privacidad no es solo que los chats puedan utilizarse para mejorar el modelo: según el medio, contratistas externos podían leer material sin nombres de usuario, pero con contexto que aún podía ser muy personal. 2

Qué hacía presuntamente Project Lily

De acuerdo con documentos filtrados revisados por 404 Media, OpenAI reclutó a cientos de contratistas mediante empresas de selección de personal para analizar preguntas reales de usuarios y respuestas de ChatGPT. El trabajo, según el informe, se pagaba a más de 50 dólares por hora. Los revisores resumían la intención del usuario, comparaban cuatro respuestas candidatas y las calificaban en una escala del 1 al 7. 2

El objetivo era mejorar la calidad de las respuestas: hacer que ChatGPT sonara menos robótico, redujera las afirmaciones excesivamente humanas y evitara asentir o halagar en exceso al usuario. El uso de retroalimentación humana es habitual en el desarrollo de IA, pero la posible revisión de conversaciones reales de consumidores hace más inmediatas las implicaciones para la privacidad. 2

Qué podía ver un revisor

404 Media informó de que los revisores podían recibir intercambios completos y, en algunos casos, un resumen de memorias del usuario. El reporte señala que no se mostraban los nombres de usuario, aunque el contexto disponible podía revelar una ubicación aproximada, profesión, intereses previos y circunstancias personales. 2

La diferencia es importante: eliminar un nombre no convierte necesariamente una conversación en anónima o inocua. La combinación de datos sobre trabajo, familia, salud o un acontecimiento singular puede ser sensible incluso si no identifica directamente al titular de una cuenta.

El papel y los límites del Privacy Filter de OpenAI

OpenAI define su Privacy Filter como un modelo diseñado para detectar y ocultar información de identificación personal en texto. 4647

En el reportaje sobre Project Lily, OpenAI dijo que eliminaba los nombres de usuario y aplicaba un filtro automatizado antes de que el material llegara a los contratistas. Sin embargo, 404 Media reportó que podían permanecer detalles sensibles en conversaciones revisadas pese a esas medidas. 2

Esto refleja una limitación de la anonimización automática: puede detectar identificadores evidentes, como un nombre, un correo electrónico o un teléfono, pero el contexto que identifica indirectamente a alguien es mucho más difícil de clasificar de forma fiable.

Qué debían detectar los revisores

Las directrices descritas en el informe no se centraban únicamente en la corrección de las respuestas. Los contratistas debían identificar, entre otros problemas:

• Lenguaje formulaico o poco natural, el llamado «tono de IA»
• Afirmaciones que sugieren sentimientos o experiencias vividas humanas
• Acuerdo excesivo, halagos u otras conductas complacientes
• Errores factuales
• Exposición de información personal
• Riesgos de seguridad 2

El énfasis en la complacencia es relevante. Un modelo demasiado dispuesto a validar al usuario puede parecer comprensivo, pero no cuestionar premisas equivocadas, peligrosas o dañinas. Project Lily buscaba, según se informó, ayudar a ajustar ese comportamiento. 2

Pedir «que quede entre nosotros» no es una configuración de privacidad

Escribir en un prompt una petición de confidencialidad no cambia los controles de datos de la cuenta. Esa frase forma parte del contenido del chat; no es una instrucción técnica que pueda anular la configuración de uso de datos de OpenAI.

Para los espacios de trabajo personales de ChatGPT, el control documentado por OpenAI se llama «Mejorar el modelo para todos». Si está activado, las conversaciones pueden utilizarse para mejorar los modelos; si se desactiva, OpenAI afirma que no entrenará sus modelos con las conversaciones nuevas. 2130

Cómo evitar que los nuevos chats se usen para mejorar modelos

Para usuarios con sesión iniciada, OpenAI indica estos pasos:

1. Abrir el menú de perfil en ChatGPT.
2. Seleccionar Configuración.
3. Entrar en Controles de datos.
4. Desactivar «Mejorar el modelo para todos». 1921

La configuración se aplica a la cuenta, no a un dispositivo concreto. El historial de chats existente puede seguir disponible tras desactivarla, pero OpenAI indica que las conversaciones nuevas no se usarán para entrenar sus modelos. 1930

La empresa también ofrece la opción «No entrenar con mi contenido» en su portal de privacidad. Según OpenAI, para tareas de ChatGPT y Codex basta con usar esa opción o los Controles de datos de la aplicación; no es necesario activar ambas. 21

Qué planes tienen protecciones predeterminadas

OpenAI indica que, en espacios personales de los planes Free, Plus y Pro, el uso compartido de datos para entrenamiento está activado de forma predeterminada, aunque el usuario puede desactivarlo. Para ChatGPT Business, Enterprise, Edu y la plataforma de API, OpenAI afirma que no utiliza las entradas y salidas proporcionadas para entrenar sus modelos de forma predeterminada. 23

Eso no significa que cualquier conversación de trabajo esté libre de riesgos para todos los fines. Las organizaciones deberían revisar igualmente la configuración de su espacio, sus políticas de retención, los controles de compartición y sus normas internas antes de incluir información confidencial en una herramienta de IA.

La conclusión práctica

Project Lily, tal como lo describió 404 Media, es un recordatorio de que los chats de IA para consumidores deben tratarse como un servicio con ajustes configurables sobre el uso de datos, no como un canal inherentemente confidencial. Si un mensaje contiene información personal, legal, médica, financiera o empresarial especialmente sensible, la medida inmediata más prudente es desactivar «Mejorar el modelo para todos» antes de iniciar una conversación nueva. 221

Excluirse controla el uso de las conversaciones nuevas para la mejora de modelos. No equivale a una petición escrita dentro del prompt, y la documentación de OpenAI no lo presenta como un mecanismo para retirar material que ya se hubiera enviado. 2130