Anthropic·AE Studio, AI 모델에 '위험 지식 오프 스위치' 부여하는 GRAM 기술 공개

Anthropic과 AE Studio가 AI 모델에 위험한 지식만 선택적으로 '끌 수 있는 스위치'를 부여하는 실험적 기술인 GRAM(Gradient-Routed Auxiliary Modules)을 공개했다. 기존처럼 각 안전 설정마다 별도의 모델을 훈련시키는 대신, GRAM은 바이러스학, 사이버보안, 핵물리학 같은 이중용도(dual-use) 능력을 제거 가능한 모듈 형태로 단일 모델 안에 탑재하는 방식이다. 아직 초기 연구 단계로, Anthropic은 이 기술이 어떤 상용 Claude 모델에도 적용되지 않았다고 밝혔다. 하지만 AI 안전성을 오늘날의 둔탁한 도구보다 훨씬 정교하게 제어할 수 있는 유망한 방향으로 평가받고 있다.

GRAM이란?

GRAM은 이중용도 지식(유익한 목적과 해로운 목적 모두에 사용될 수 있는 정보)을 언어 모델 내부의 제거 가능한 신경 모듈에 국소화(localize)하도록 설계된 사전학습 방식이다. 훈련이 끝난 후 해당 모듈을 켜거나 꺼서 모델이 보유한 위험한 능력을 세밀하게 제어할 수 있다. 같은 접근법으로 사용자별로 다른 접근 프로필을 제공하는 것도 가능하다. 예를 들어 연구자에게는 바이러스학 지식을 활성화하고, 일반 대화형 챗봇에게는 해당 지식을 비활성화하는 식이다.

GRAM의 아키텍처 작동 원리

훈련 단계

GRAM은 표준 트랜스포머 아키텍처에 작은 보조 모듈(auxiliary module), 즉 각 레이어마다 전용 뉴런을 추가한다. 이 모듈은 훈련 중 특정 이중용도 능력을 포착하도록 설계되었다. 핵심 메커니즘은 그래디언트 라우팅(gradient routing) 이다. 역전파(backpropagation) 과정에서 가중치 마스크가 어떤 데이터에 대해 어떤 파라미터를 업데이트할지 제어한다.

• 모델이 일반 목적 텍스트를 처리할 때는 정상적으로 학습하지만, 보조 모듈도 나머지 모델과 호환되도록 함께 훈련된다.
• 모델이 바이러스학이나 사이버보안 같은 이중용도 범주의 텍스트를 만나면, 그래디언트 라우팅이 학습 신호를 해당 이중용도 범주에 대응하는 보조 모듈로만 보낸다. 따라서 해당 지식이 전체 모델 파라미터에 확산되는 것을 막는다.
• 이 방식은 각 대상 영역의 지식을 전용 모듈에 집중시키고, 네트워크 전체로 퍼지지 않게 한다.

추론 단계

훈련이 완료되면 개별 모듈을 제거하거나 비활성화해 특정 능력에 대한 접근을 차단하거나, 해당 지식 사용이 허가된 배포 환경에서는 그대로 둘 수 있다. 각 이중용도 범주가 자체 모듈에 매핑되므로, 4개 범주를 가진 단일 GRAM 훈련 모델은 각 모듈을 독립적으로 켜고 끄는 방식으로 이론상 2⁴ = 16가지 서로 다른 기능 프로필로 구성할 수 있다.

최대 50억 파라미터 모델 실험 결과

연구진은 여러 환경과 모델 크기에서 GRAM을 테스트했다:

1. 합성 데이터셋: 통제된 합성 환경에서 GRAM으로 모델이 선택된 주제를 '잊게' 만든 뒤, 처음부터 해당 주제를 필터링한 모델과 결과를 비교했다.
2. 실사 이중용도 데이터: 웹 텍스트, 코드, 과학 논문, 이중용도 영역을 포함한 더 현실적인 환경에서 GRAM 모듈을 제거하자 해당 능력이 감소했고, 데이터 필터링 효과에 근접하면서도 일반 성능은 유지되었다.
3. 스케일링 연구: GRAM은 5천만~50억 파라미터 규모의 모델에서 테스트되었다. 주요 결과: GRAM은 데이터 필터링의 동작을 추적했고, 큰 모델일수록 모듈 온/오프 간 구분이 더 명확했으며, 테스트 환경에서 일부 사후 훈련 언러닝(unlearning) 방식보다 우수한 성능을 보였다.

정책 맥락: 모듈식 제어에서 실제 수출 금지까지

GRAM 연구는 이 기술이 해결하려는 문제의 현실적 사례와 함께 주목받고 있다. 2025년 6월, 트럼프 행정부는 사이버보안 우려를 이유로 Anthropic의 Claude Fable 5·Mythos 5 모델에 수출 통제를 부과했다. 이 조치는 미국 내외를 막론하고 모든 외국인(Anthropic의 외국인 직원 포함)의 접근을 차단했다. 해당 금지는 18일간 지속되다가 상무부가 국가안보 검토 후 해제했다.

이 사건은 현재 AI 접근 통제의 현실을 극명하게 보여준다. 즉, 모든 능력을 가진 모델 전체가 하나의 분할 불가능한 단위로 취급된다는 점이다. 모델에 위험한 능력이 하나라도 있으면 오늘날의 선택지는 시스템 전체를 차단하는 것뿐이다. GRAM은 이보다 훨씬 세분화된 대안을 제시한다. 모델 전체를 잠그는 대신, 배포 환경에 따라 특정 지식 범주만 허용하거나 차단할 수 있게 하는 것이다.

남은 과제와 한계

Anthropic 연구진은 GRAM을 명시적으로 초기 연구(preliminary work)로 규정하며 여러 한계를 지적했다:

• 프론티어 스케일 미검증: GRAM은 상용 Claude 모델이나 최첨단 프론티어 시스템 규모에서 작동이 입증되지 않았다.
• 평가 범위: 보고된 실험은 통제된 평가에 집중되어 있으며, 실제 다운스트림 능력 제거를 안정적으로 측정하는 것은 더 어려울 수 있다.
• 근본적 얽힘 문제: 일부 이중용도 능력은 일반 지식과 깊게 얽혀 있어, 어떤 국소화나 필터링 방식으로도 깔끔하게 분리하기 어려울 수 있다.
• 데이터 레이블링 현실성: GRAM은 훈련 중 관련 이중용도 데이터를 식별하고 라우팅하는 데 의존하므로, 대규모로 이런 데이터를 안정적으로 레이블링하는 것은 여전히 중요한 실용적 과제다.
• 초기 연구 결과: Anthropic은 GRAM을 배포된 안전 메커니즘이 아닌 초기 연구 방향으로 제시하며, 실제로 배포될지 확신하지 못한다고 밝혔다.