Cómo funciona GRAM a nivel arquitectónico

Fase de entrenamiento

GRAM amplía la arquitectura estándar de los Transformers añadiendo pequeños módulos auxiliares —esencialmente neuronas dedicadas en cada capa— que están diseñados para capturar capacidades específicas de doble uso durante el entrenamiento . El mecanismo clave es el enrutamiento por gradiente (gradient routing): durante la retropropagación, unas máscaras ponderadas controlan qué parámetros se actualizan con cada dato .

• Cuando el modelo procesa texto de propósito general, aprende de forma normal, mientras que los módulos auxiliares también se entrenan de manera que sigan siendo compatibles con el resto del modelo .
• Cuando el modelo encuentra texto de una categoría de doble uso (como virología o ciberseguridad), el enrutamiento por gradiente dirige la señal de aprendizaje hacia el módulo auxiliar correspondiente, en lugar de permitir que ese conocimiento se difunda por todos los parámetros del modelo .
• Esto concentra el conocimiento sobre cada dominio objetivo en un módulo dedicado, evitando que se extienda por toda la red .

Fase de inferencia

Una vez completado el entrenamiento, los módulos individuales se pueden eliminar o desactivar para reducir el acceso a una capacidad particular, o dejarlos activos para implementaciones que sí estén autorizadas a usar ese conocimiento . Dado que cada categoría de doble uso se asigna a su propio módulo, un solo modelo entrenado con GRAM que tenga cuatro categorías se puede configurar teóricamente en 2⁴ = 16 perfiles de capacidades distintos, activando o desactivando cada módulo de forma independiente .

Resultados en modelos de hasta 5 mil millones de parámetros

Los investigadores probaron GRAM en varios entornos y tamaños de modelo :

1. Conjunto de datos sintético: En un entorno sintético controlado, GRAM hizo que el modelo "olvidara" temas seleccionados, y los resultados se compararon con modelos entrenados como si esos temas se hubieran filtrado desde el principio .
2. Datos realistas de doble uso: En un entorno más realista, utilizando texto web, código, artículos científicos y dominios de doble uso, la eliminación de un módulo GRAM redujo la capacidad correspondiente —aproximándose al efecto del filtrado de datos— mientras se preservaba el rendimiento general .
3. Estudio de escalado: GRAM se probó en modelos de entre 50 millones y 5 mil millones de parámetros . Los hallazgos clave fueron: GRAM siguió el comportamiento del filtrado de datos; los modelos más grandes mostraron una separación más clara entre el comportamiento con el módulo activado y desactivado; y el método se comparó favorablemente con algunos enfoques de "desaprendizaje" posterior al entrenamiento en los entornos evaluados .

Contexto político: de los controles modulares a las prohibiciones de exportación reales

La investigación de GRAM llega junto con un ejemplo de alto riesgo del problema que pretende resolver. En junio de 2025, la administración Trump impuso controles de exportación a los modelos Claude Fable 5 y Mythos 5 de Anthropic debido a preocupaciones de ciberseguridad, bloqueando el acceso a cualquier extranjero —dentro o fuera de EE. UU., incluidos los empleados extranjeros de Anthropic— . La prohibición duró 18 días antes de que el Departamento de Comercio la levantara tras una revisión de seguridad nacional .

Este episodio ilustra el estado actual del control de acceso a la IA: un modelo completo —con todas sus capacidades— se trata como una unidad indivisible. Si un modelo tiene una capacidad peligrosa, la única opción hoy es retener todo el sistema. GRAM propone una alternativa más granular: en lugar de bloquear un modelo entero, un sistema podría permitir o deshabilitar categorías específicas de conocimiento según el contexto de implementación .

Preguntas abiertas y limitaciones

Los investigadores de Anthropic identifican explícitamente GRAM como un trabajo preliminar y destacan varias limitaciones :

• No probado a escala fronteriza: No se ha demostrado que GRAM funcione en los modelos de producción de Claude ni en la escala de los sistemas fronterizos más grandes .
• Alcance de la evaluación: Los experimentos reportados se centran en evaluaciones controladas; la eliminación de capacidades en el mundo real puede ser más difícil de medir de forma fiable .
• Problema de entrelazamiento fundamental: Algunas capacidades de doble uso pueden estar profundamente entrelazadas con el conocimiento general, lo que dificulta que cualquier método de localización o filtrado las separe limpiamente .
• Realismo del etiquetado de datos: GRAM depende de identificar y enrutar datos de doble uso relevantes durante el entrenamiento, por lo que el etiquetado fiable de dichos datos a escala sigue siendo un desafío práctico importante .
• Hallazgos preliminares: Anthropic presenta GRAM como una dirección de investigación temprana, no como un mecanismo de seguridad implementado —y la organización no está segura de que alguna vez se implemente— .

Cómo funciona GRAM a nivel arquitectónico

Fase de entrenamiento

GRAM amplía la arquitectura estándar de los Transformers añadiendo pequeños módulos auxiliares —esencialmente neuronas dedicadas en cada capa— que están diseñados para capturar capacidades específicas de doble uso durante el entrenamiento . El mecanismo clave es el enrutamiento por gradiente (gradient routing): durante la retropropagación, unas máscaras ponderadas controlan qué parámetros se actualizan con cada dato .

• Cuando el modelo procesa texto de propósito general, aprende de forma normal, mientras que los módulos auxiliares también se entrenan de manera que sigan siendo compatibles con el resto del modelo .
• Cuando el modelo encuentra texto de una categoría de doble uso (como virología o ciberseguridad), el enrutamiento por gradiente dirige la señal de aprendizaje hacia el módulo auxiliar correspondiente, en lugar de permitir que ese conocimiento se difunda por todos los parámetros del modelo .
• Esto concentra el conocimiento sobre cada dominio objetivo en un módulo dedicado, evitando que se extienda por toda la red .

Fase de inferencia

Una vez completado el entrenamiento, los módulos individuales se pueden eliminar o desactivar para reducir el acceso a una capacidad particular, o dejarlos activos para implementaciones que sí estén autorizadas a usar ese conocimiento . Dado que cada categoría de doble uso se asigna a su propio módulo, un solo modelo entrenado con GRAM que tenga cuatro categorías se puede configurar teóricamente en 2⁴ = 16 perfiles de capacidades distintos, activando o desactivando cada módulo de forma independiente .

Resultados en modelos de hasta 5 mil millones de parámetros

Los investigadores probaron GRAM en varios entornos y tamaños de modelo :

1. Conjunto de datos sintético: En un entorno sintético controlado, GRAM hizo que el modelo "olvidara" temas seleccionados, y los resultados se compararon con modelos entrenados como si esos temas se hubieran filtrado desde el principio .
2. Datos realistas de doble uso: En un entorno más realista, utilizando texto web, código, artículos científicos y dominios de doble uso, la eliminación de un módulo GRAM redujo la capacidad correspondiente —aproximándose al efecto del filtrado de datos— mientras se preservaba el rendimiento general .
3. Estudio de escalado: GRAM se probó en modelos de entre 50 millones y 5 mil millones de parámetros . Los hallazgos clave fueron: GRAM siguió el comportamiento del filtrado de datos; los modelos más grandes mostraron una separación más clara entre el comportamiento con el módulo activado y desactivado; y el método se comparó favorablemente con algunos enfoques de "desaprendizaje" posterior al entrenamiento en los entornos evaluados .

Contexto político: de los controles modulares a las prohibiciones de exportación reales

La investigación de GRAM llega junto con un ejemplo de alto riesgo del problema que pretende resolver. En junio de 2025, la administración Trump impuso controles de exportación a los modelos Claude Fable 5 y Mythos 5 de Anthropic debido a preocupaciones de ciberseguridad, bloqueando el acceso a cualquier extranjero —dentro o fuera de EE. UU., incluidos los empleados extranjeros de Anthropic— . La prohibición duró 18 días antes de que el Departamento de Comercio la levantara tras una revisión de seguridad nacional .

Este episodio ilustra el estado actual del control de acceso a la IA: un modelo completo —con todas sus capacidades— se trata como una unidad indivisible. Si un modelo tiene una capacidad peligrosa, la única opción hoy es retener todo el sistema. GRAM propone una alternativa más granular: en lugar de bloquear un modelo entero, un sistema podría permitir o deshabilitar categorías específicas de conocimiento según el contexto de implementación .

Preguntas abiertas y limitaciones

Los investigadores de Anthropic identifican explícitamente GRAM como un trabajo preliminar y destacan varias limitaciones :

• No probado a escala fronteriza: No se ha demostrado que GRAM funcione en los modelos de producción de Claude ni en la escala de los sistemas fronterizos más grandes .
• Alcance de la evaluación: Los experimentos reportados se centran en evaluaciones controladas; la eliminación de capacidades en el mundo real puede ser más difícil de medir de forma fiable .
• Problema de entrelazamiento fundamental: Algunas capacidades de doble uso pueden estar profundamente entrelazadas con el conocimiento general, lo que dificulta que cualquier método de localización o filtrado las separe limpiamente .
• Realismo del etiquetado de datos: GRAM depende de identificar y enrutar datos de doble uso relevantes durante el entrenamiento, por lo que el etiquetado fiable de dichos datos a escala sigue siendo un desafío práctico importante .
• Hallazgos preliminares: Anthropic presenta GRAM como una dirección de investigación temprana, no como un mecanismo de seguridad implementado —y la organización no está segura de que alguna vez se implemente— .