Cómo pone a prueba MentalHealthBench las respuestas de IA sobre salud mental

Una respuesta sobre salud mental puede evitar consejos peligrosos y, aun así, quedarse corta: quizá no pide información importante o trata una situación urgente como si no lo fuera. MentalHealthBench es la prueba abierta con la que OpenAI busca evaluar ese juicio caso por caso, más allá de las emergencias y las reglas generales de seguridad en las que se habían concentrado muchas evaluaciones anteriores. 13

Conversaciones simuladas, criterios específicos

El conjunto reúne 1.215 conversaciones sintéticas sobre salud mental. Algunas incluyen mensajes previos para comprobar si el modelo tiene en cuenta el contexto al responder al último mensaje. Son casos de prueba: su distribución no indica con qué frecuencia aparecen esas situaciones en ChatGPT. 1

En su elaboración participaron más de 80 profesionales acreditados de salud mental de 22 países. Al menos tres especialistas revisaron cada conversación y redactaron criterios para valorar la respuesta final; según OpenAI, un criterio solo pasó al conjunto definitivo si todos los revisores estuvieron de acuerdo. 14

El resultado son 5.262 criterios redactados por especialistas. Cada uno evalúa una conducta concreta: los criterios con peso positivo premian acciones útiles y los de peso negativo penalizan respuestas perjudiciales. Después, un evaluador automatizado comprueba la respuesta del modelo frente a cada criterio. La puntuación refleja, por tanto, su ajuste a esas pautas, no el efecto clínico en una persona. 14

Qué situaciones abarca y qué muestran los resultados

Los casos van desde preocupaciones cotidianas sin riesgo inmediato hasta malestar grave y emergencias. Incluyen a personas adultas y adolescentes, así como a cuidadores y profesionales sanitarios, con variaciones de idioma y región. Los criterios examinan, entre otras cosas, si la IA pide el contexto necesario, respeta la autonomía de la persona, ofrece orientación práctica adecuada y responde de forma proporcionada al riesgo. 14

OpenAI informa de mejoras entre los sistemas que probó, pero también de dificultades persistentes para pedir información pertinente y calibrar la urgencia. Los resultados disponibles no permiten establecer aquí una clasificación fiable modelo por modelo; tampoco garantizan que una mejor puntuación se traduzca en una respuesta segura en cualquier conversación. 1

OpenAI consideró además opiniones de usuarios reales de ChatGPT. Esa perspectiva puede complementar la de los profesionales, pero no sustituye los criterios clínicos y de seguridad. Las fuentes disponibles no permiten precisar qué prioridades concretas valoraron de forma distinta unos y otros. 1

Una evaluación no es una herramienta de crisis

MentalHealthBench mide respuestas; no ofrece ayuda directa durante una crisis. Por separado, OpenAI afirma que ha ampliado el acceso a líneas de ayuda, redirigido algunas conversaciones delicadas a modelos más seguros y añadido recordatorios para hacer pausas en sesiones largas. Ninguna de esas medidas convierte a ChatGPT en un sustituto de la terapia, la atención profesional o la ayuda presencial ante una emergencia. 1115