Как GRAM устроен архитектурно

Фаза обучения

GRAM расширяет стандартную архитектуру Transformer, добавляя небольшие вспомогательные модули — по сути, выделенные нейроны на каждом слое, — которые предназначены для захвата определенных знаний двойного назначения во время обучения . Ключевой механизм — градиентная маршрутизация (gradient routing): во время обратного распространения ошибки взвешенные маски управляют тем, какие параметры обновляются на основе каких данных .

• Когда модель обрабатывает текст общего назначения, она учится обычным образом, а вспомогательные модули также могут обучаться, оставаясь совместимыми с остальной моделью .
• Когда модель сталкивается с текстом из категории двойного назначения (вирусология или кибербезопасность), градиентная маршрутизация направляет обучающий сигнал в соответствующий вспомогательный модуль, а не позволяет этим знаниям распространяться по всем параметрам модели .
• Это концентрирует знания о каждой целевой области в выделенном модуле, а не размазывает их по всей сети .

Фаза инференса

После завершения обучения отдельные модули можно удалить или отключить, чтобы ограничить доступ к определенной способности, или оставить на месте для тех развертываний, которым разрешено использовать эти знания . Поскольку каждой категории двойного назначения соответствует свой модуль, одна модель, обученная с GRAM для четырех категорий, теоретически может быть настроена на 2⁴ = 16 различных профилей возможностей, просто включая или отключая каждый модуль независимо .

Результаты на моделях до 5 миллиардов параметров

Исследователи протестировали GRAM в нескольких условиях и на моделях разных размеров :

1. Синтетический набор данных: В контролируемых синтетических условиях GRAM заставил модель «забыть» выбранные темы, и результаты сравнили с моделями, обученными так, как если бы эти темы были отфильтрованы с самого начала .
2. Реалистичные данные двойного назначения: В более реалистичной среде, использующей веб-тексты, код, научные статьи и данные из областей двойного назначения, удаление модуля GRAM снижало соответствующую способность, приближаясь к эффекту фильтрации данных, при этом сохраняя производительность общего назначения .
3. Масштабирование: GRAM тестировали на моделях от 50 миллионов до 5 миллиардов параметров . Ключевые выводы: GRAM повторяет поведение фильтрации данных; более крупные модели демонстрируют более четкое различие между включенным и отключенным модулем; метод выгодно отличается от некоторых подходов «забывания» после обучения в протестированных условиях .

Политический контекст: от модульного контроля к реальным экспортным запретам

Исследование GRAM появляется одновременно с реальным примером проблемы, которую оно призвано решить. В июне 2025 года администрация Трампа ввела экспортные ограничения на модели Anthropic Claude Fable 5 и Mythos 5 из-за опасений по поводу кибербезопасности, заблокировав доступ для любых иностранных граждан — как внутри, так и за пределами США, включая сотрудников Anthropic с иностранным гражданством . Запрет продлился 18 дней, после чего Министерство торговли сняло его после проверки национальной безопасности .

Этот эпизод иллюстрирует текущее состояние контроля доступа к ИИ: целая модель — со всеми ее возможностями — рассматривается как единое неделимое целое. Если модель обладает опасной способностью, сегодня единственный вариант — заблокировать всю систему. GRAM предлагает более тонкую альтернативу: вместо блокировки всей модели можно разрешать или запрещать определенные категории знаний в зависимости от контекста развертывания .

Открытые вопросы и ограничения

Исследователи Anthropic прямо указывают, что GRAM — предварительная работа, и выделяют несколько ограничений :

• Не тестировался на передовых моделях: GRAM не был проверен на производственных моделях Claude или на уровне самых больших систем .
• Область оценки: Сообщаемые эксперименты сосредоточены на контролируемых оценках; реальное удаление возможностей в реальных условиях может быть гораздо сложнее надежно измерить .
• Фундаментальная проблема взаимосвязи: Некоторые способности двойного назначения могут быть глубоко переплетены с общими знаниями, что делает их трудно разделяемыми для любого метода локализации или фильтрации .
• Реалистичность маркировки данных: GRAM зависит от идентификации и маршрутизации соответствующих данных двойного назначения во время обучения, поэтому надежная маркировка таких данных в масштабе остается важной практической проблемой .
• Предварительные результаты: Anthropic представляет GRAM как раннее исследовательское направление, а не как развернутый механизм безопасности — и организация не уверена, что он когда-либо будет развернут .

Как GRAM устроен архитектурно

Фаза обучения

GRAM расширяет стандартную архитектуру Transformer, добавляя небольшие вспомогательные модули — по сути, выделенные нейроны на каждом слое, — которые предназначены для захвата определенных знаний двойного назначения во время обучения . Ключевой механизм — градиентная маршрутизация (gradient routing): во время обратного распространения ошибки взвешенные маски управляют тем, какие параметры обновляются на основе каких данных .

• Когда модель обрабатывает текст общего назначения, она учится обычным образом, а вспомогательные модули также могут обучаться, оставаясь совместимыми с остальной моделью .
• Когда модель сталкивается с текстом из категории двойного назначения (вирусология или кибербезопасность), градиентная маршрутизация направляет обучающий сигнал в соответствующий вспомогательный модуль, а не позволяет этим знаниям распространяться по всем параметрам модели .
• Это концентрирует знания о каждой целевой области в выделенном модуле, а не размазывает их по всей сети .

Фаза инференса

После завершения обучения отдельные модули можно удалить или отключить, чтобы ограничить доступ к определенной способности, или оставить на месте для тех развертываний, которым разрешено использовать эти знания . Поскольку каждой категории двойного назначения соответствует свой модуль, одна модель, обученная с GRAM для четырех категорий, теоретически может быть настроена на 2⁴ = 16 различных профилей возможностей, просто включая или отключая каждый модуль независимо .

Результаты на моделях до 5 миллиардов параметров

Исследователи протестировали GRAM в нескольких условиях и на моделях разных размеров :

1. Синтетический набор данных: В контролируемых синтетических условиях GRAM заставил модель «забыть» выбранные темы, и результаты сравнили с моделями, обученными так, как если бы эти темы были отфильтрованы с самого начала .
2. Реалистичные данные двойного назначения: В более реалистичной среде, использующей веб-тексты, код, научные статьи и данные из областей двойного назначения, удаление модуля GRAM снижало соответствующую способность, приближаясь к эффекту фильтрации данных, при этом сохраняя производительность общего назначения .
3. Масштабирование: GRAM тестировали на моделях от 50 миллионов до 5 миллиардов параметров . Ключевые выводы: GRAM повторяет поведение фильтрации данных; более крупные модели демонстрируют более четкое различие между включенным и отключенным модулем; метод выгодно отличается от некоторых подходов «забывания» после обучения в протестированных условиях .

Политический контекст: от модульного контроля к реальным экспортным запретам

Исследование GRAM появляется одновременно с реальным примером проблемы, которую оно призвано решить. В июне 2025 года администрация Трампа ввела экспортные ограничения на модели Anthropic Claude Fable 5 и Mythos 5 из-за опасений по поводу кибербезопасности, заблокировав доступ для любых иностранных граждан — как внутри, так и за пределами США, включая сотрудников Anthropic с иностранным гражданством . Запрет продлился 18 дней, после чего Министерство торговли сняло его после проверки национальной безопасности .

Этот эпизод иллюстрирует текущее состояние контроля доступа к ИИ: целая модель — со всеми ее возможностями — рассматривается как единое неделимое целое. Если модель обладает опасной способностью, сегодня единственный вариант — заблокировать всю систему. GRAM предлагает более тонкую альтернативу: вместо блокировки всей модели можно разрешать или запрещать определенные категории знаний в зависимости от контекста развертывания .

Открытые вопросы и ограничения

Исследователи Anthropic прямо указывают, что GRAM — предварительная работа, и выделяют несколько ограничений :

• Не тестировался на передовых моделях: GRAM не был проверен на производственных моделях Claude или на уровне самых больших систем .
• Область оценки: Сообщаемые эксперименты сосредоточены на контролируемых оценках; реальное удаление возможностей в реальных условиях может быть гораздо сложнее надежно измерить .
• Фундаментальная проблема взаимосвязи: Некоторые способности двойного назначения могут быть глубоко переплетены с общими знаниями, что делает их трудно разделяемыми для любого метода локализации или фильтрации .
• Реалистичность маркировки данных: GRAM зависит от идентификации и маршрутизации соответствующих данных двойного назначения во время обучения, поэтому надежная маркировка таких данных в масштабе остается важной практической проблемой .
• Предварительные результаты: Anthropic представляет GRAM как раннее исследовательское направление, а не как развернутый механизм безопасности — и организация не уверена, что он когда-либо будет развернут .