Метод GRAM: чи можна вибірково «вимкнути» небезпечні знання у штучному інтелекті?

Як працює GRAM: архітектурні особливості

Фаза навчання

GRAM розширює стандартну архітектуру трансформера, додаючи невеликі допоміжні модулі — практично, спеціалізовані нейрони на кожному шарі — які призначені для захоплення конкретних знань подвійного призначення під час тренування . Ключовий механізм — це gradient routing (маршрутизація градієнтів): під час зворотного поширення помилки спеціальні зважені маски визначають, які параметри оновлюються для яких даних .

• Коли модель обробляє текст загального призначення, вона навчається звичайним чином, а допоміжні модулі також тренуються так, щоб залишатися сумісними з рештою моделі .
• Коли модель стикається з текстом із категорії подвійного призначення (наприклад, вірусологія чи кібербезпека), маршрутизація градієнтів спрямовує сигнал навчання до відповідного допоміжного модуля, не дозволяючи цим знанням поширюватися на всі параметри моделі .
• Таким чином, знання про кожну цільову область концентруються у виділеному модулі, а не розсіюються по всій мережі .

Фаза інференсу (використання)

Після завершення навчання окремі модулі можна видалити або вимкнути, щоб обмежити доступ до певної можливості, або залишити їх активними для тих розгортань, де такі знання дозволені . Оскільки кожна категорія подвійного призначення має власний модуль, одна модель, навчена за методом GRAM із чотирма категоріями, теоретично може мати 2⁴ = 16 різних профілів можливостей — просто вмикаючи або вимикаючи кожен модуль незалежно .

Результати тестування на моделях до 5 мільярдів параметрів

Дослідники протестували GRAM у кількох умовах та на моделях різного розміру :

1. Синтетичний набір даних: У контрольованому синтетичному середовищі GRAM змусив модель «забути» вибрані теми, а результати порівняли з моделями, навченими так, ніби ці теми були відфільтровані з самого початку .
2. Реалістичні дані подвійного призначення: У більш реалістичному сценарії з використанням веб-текстів, коду, наукових статей та даних подвійного призначення, видалення модуля GRAM зменшило відповідну здатність моделі, приблизно імітуючи ефект фільтрації даних, при цьому загальна продуктивність моделі збереглася .
3. Дослідження масштабування: GRAM тестували на моделях розміром від 50 мільйонів до 5 мільярдів параметрів . Ключові висновки: GRAM добре імітував поведінку фільтрації даних; на більших моделях різниця між режимами «модуль увімкнено» та «модуль вимкнено» була більш помітною; і метод показав кращі результати порівняно з деякими післятренувальними методами «розучування» (unlearning) у тестованих умовах .

Політичний контекст: від модульного контролю до реальних експортних заборон

Дослідження GRAM з'явилося одночасно з реальним прикладом проблеми, яку воно намагається вирішити. У червні 2025 року адміністрація Трампа запровадила експортні обмеження на моделі Anthropic Claude Fable 5 та Mythos 5 через занепокоєння щодо кібербезпеки. Заборона стосувалася доступу для будь-яких іноземних громадян — як всередині США, так і за їх межами, включно зі співробітниками Anthropic, які є іноземцями . Заборона тривала 18 днів, після чого Міністерство торгівлі США скасувало її після перевірки національної безпеки .

Цей епізод яскраво ілюструє поточний стан контролю доступу до ШІ: ціла модель з усіма її можливостями розглядається як єдине неподільне ціле. Якщо модель має небезпечну здатність, єдиний вихід сьогодні — заблокувати всю систему повністю. GRAM пропонує більш гнучку альтернативу: замість блокування цілої моделі, система могла б дозволяти або забороняти конкретні категорії знань залежно від контексту використання .

Відкриті питання та обмеження

Дослідники з Anthropic чітко визначають GRAM як попередню роботу та виділяють кілька обмежень :

• Не тестувалося на фронтірних моделях: GRAM не було застосовано до продукційних моделей Claude або до найбільших і найпотужніших систем .
• Обмежена сфера оцінки: Експерименти зосереджені на контрольованих умовах; у реальному світі вимірювання видалення небезпечних здатностей може бути набагато складнішим .
• Фундаментальна проблема взаємозв'язку: Деякі знання подвійного призначення можуть бути глибоко переплетені із загальними знаннями, що унеможливлює їх чисте відокремлення будь-яким методом локалізації або фільтрації .
• Реалістичність маркування даних: GRAM залежить від ідентифікації та спрямування відповідних даних подвійного призначення під час навчання, тому надійне маркування таких даних у великих масштабах залишається серйозною практичною проблемою .
• Попередні результати: Anthropic представляє GRAM як ранній дослідницький напрямок, а не як готовий механізм безпеки — і організація не впевнена, чи буде він кололи впроваджений .