Sampura Research quiere que los humanos sigan siendo el árbitro de la IA

Sampura Research es una organización londinense sin ánimo de lucro dedicada a la seguridad de la inteligencia artificial. Fue fundada por los exinvestigadores de Google DeepMind Rishub Jain y Josh Jacob, no —según el anuncio de la propia entidad— por Alex Adams. Su lanzamiento público se produjo el 25 de agosto de 2026, con un compromiso inicial de 11 millones de dólares de Coefficient Giving; Adams aparece mencionado por sus comentarios sobre el anuncio. 4

La idea central: no basta con que una IA vigile a otra

En el sector tecnológico, la llamada supervisión escalable intenta resolver un problema práctico: los modelos avanzados pueden generar más respuestas, ejecutar más tareas y explorar más escenarios de los que un equipo humano puede revisar manualmente. Por eso, muchas propuestas recurren a modelos de lenguaje que actúan como evaluadores o «jueces» de otros sistemas, porque son más rápidos y baratos.

Sampura cuestiona que ese enfoque pueda sostenerse por sí solo. Su tesis es que las personas todavía conservan capacidades relevantes: detectar fallos irregulares o difíciles de anticipar —los llamados fallos «dentados»—, ofrecer una comprobación independiente frente a una posible colusión entre el modelo supervisado y el modelo evaluador, y deliberar sobre valores humanos nuevos o cambiantes. 4

La organización no plantea que los humanos revisen cada interacción. Su objetivo es identificar los casos en los que su participación aporta más valor de seguridad y reservarla para esos momentos.

Qué significa un «juez híbrido»

En este contexto, un juez es una persona, un sistema de IA o una combinación de ambos que determina si la respuesta o la trayectoria de un agente de IA es correcta y está alineada con los objetivos previstos.

Sampura planea investigar varios mecanismos para combinar esas capacidades:

• estimar el nivel de confianza de un juez basado en IA y derivar a una persona los casos inciertos;
• utilizar sistemas de enrutamiento para decidir qué tareas o subtareas debe realizar un humano y cuáles puede asumir una IA;
• proporcionar a los evaluadores humanos asistencia de IA adaptada a cada tarea;
• medir el equilibrio entre coste, velocidad y calidad de la intervención humana.

La apuesta, por tanto, no es una revisión humana total, sino una supervisión selectiva: la IA se ocupa de buena parte del volumen y las personas intervienen cuando el riesgo, la ambigüedad o la novedad del caso lo justifican. 4

Un banco de pruebas público para evaluar a los evaluadores

Durante sus primeros seis meses, Sampura quiere construir una clasificación pública y actualizada de sistemas de evaluación, acompañada de más de 20 subconjuntos de datos. Entre los ámbitos anunciados figuran la detección del engaño, el sesgo cultural y las acciones inseguras de agentes de IA.

El proyecto pretende ir más allá de los ejemplos estáticos. También estudiará qué ocurre cuando el modelo supervisado puede optimizar su comportamiento para engañar o sortear al juez durante el aprendizaje por refuerzo. Es una prueba especialmente importante para detectar el llamado reward hacking o pirateo de recompensas: situaciones en las que un sistema encuentra la manera de maximizar la señal de evaluación sin cumplir realmente el objetivo de seguridad.

Sampura afirma que publicará sus artículos, código, conjuntos de datos y clasificaciones. Esa apertura permitiría a investigadores externos comprobar si los jueces funcionan en escenarios distintos de aquellos con los que fueron entrenados. 4

Investigar daños antes de que se conviertan en incidentes

El programa anunciado no se limita a los escenarios clásicos de una IA que actúa fuera de control. También incluye riesgos como los sesgos, las interacciones inseguras con menores y la dependencia emocional de asistentes diseñados como compañeros.

En una etapa posterior, la organización quiere estudiar no solo cómo evaluar las respuestas de un modelo, sino también cómo producir y revisar las instrucciones, rúbricas y casos de prueba que determinan qué se considera una buena respuesta. La premisa es que una evaluación puede fallar desde su diseño si no contempla el tipo de comportamiento que el sistema podría aprender a explotar.

Esto podría mejorar la capacidad de anticipar fallos, pero conviene no confundir una agenda de investigación con una capacidad demostrada para contener sistemas avanzados. Sampura todavía tendrá que mostrar que sus métodos funcionan fuera de los entornos de prueba y que mejoran de forma medible la seguridad durante el entrenamiento y el despliegue. 4

Del laboratorio al despliegue real

La prueba decisiva será comprobar si unos jueces mejores reducen efectivamente el pirateo de recompensas y otros comportamientos peligrosos. Sampura también quiere determinar cuándo es necesario volver a entrenar a un juez a medida que cambia el modelo supervisado y cómo repartir la supervisión sin que el coste humano haga inviable el sistema.

Una posible ruta consistiría en someter primero las técnicas a pruebas de estrés realizadas por evaluadores externos. Más adelante, podrían aplicarse en el entrenamiento, las evaluaciones y la monitorización de modelos de los laboratorios que desarrollan sistemas de frontera. 4

El cuello de botella: encontrar evaluadores cualificados

La propuesta llega en un momento en que el talento especializado en evaluación de IA es escaso. METR, una organización independiente que analiza capacidades y riesgos de modelos, ha publicado una vacante de ejecución de evaluaciones con un salario base anual de entre 285.548 y 503.116 dólares, y señala que podría superar esa cifra en casos excepcionales. 9

Ese dato ilustra la dificultad de ampliar la supervisión humana incluso cuando existe financiación. Sampura ha anunciado que busca personal técnico fundador en Londres, lo que le sitúa en la misma competición por investigadores y profesionales con experiencia. Sin embargo, no hay pruebas suficientes en las fuentes primarias disponibles para confirmar la afirmación concreta de que contratará «al menos a seis» personas con salarios de entre 100.000 y 290.000 libras. El anuncio oficial solo confirma la búsqueda de personal técnico fundador en Londres. 4

Una pieza técnica, no un mecanismo de freno

Más de 1.100 profesionales de empresas que desarrollan IA de frontera firmaron en julio de 2026 una carta que pedía una capacidad internacional para ralentizar el desarrollo si avanzara más rápido de lo que los humanos pueden supervisar con seguridad. 1

Sampura podría aportar una de las piezas técnicas necesarias para ese debate: evaluaciones más creíbles, auditables y resistentes a la manipulación. Pero una clasificación de jueces no crea por sí misma autoridad legal, coordinación internacional, acceso a los modelos ni mecanismos de cumplimiento.

Por eso, su trabajo complementa la gobernanza de la IA, pero no la sustituye. Incluso un sistema de evaluación técnicamente sólido necesitaría instituciones capaces de decidir qué riesgos son aceptables y qué debe ocurrir cuando un modelo no supera las pruebas.

Qué relación tiene con las salidas de DeepMind

La marcha de Jain fue comunicada en el contexto de una sucesión más amplia de salidas de Google DeepMind. No obstante, la formulación de que el laboratorio perdió «cinco investigadores clave en seis días» parece proceder de informaciones secundarias de menor calidad y no debería tratarse como un hecho establecido de forma independiente. 5

Tampoco las fuentes disponibles demuestran la afirmación general de que las empresas de IA «no pueden contener todavía lo que han construido». La conclusión más prudente es otra: la supervisión sólida de modelos cada vez más capaces aún no está demostrada, el personal experto en evaluación es difícil de encontrar y Sampura intenta hacer que la participación humana sea más escalable y resistente.

Su propuesta parte de una idea sencilla, aunque difícil de llevar a la práctica: la IA puede ayudar a supervisar la IA, pero no debería convertirse automáticamente en el único árbitro de sus propios límites.