Anthropic·AE Studio, AI 모델에 '위험 지식 오프 스위치' 부여하는 GRAM 기술 공개

훈련 단계

GRAM은 표준 트랜스포머 아키텍처에 작은 보조 모듈(auxiliary module), 즉 각 레이어마다 전용 뉴런을 추가한다. 이 모듈은 훈련 중 특정 이중용도 능력을 포착하도록 설계되었다^RR. 핵심 메커니즘은 그래디언트 라우팅(gradient routing) 이다. 역전파(backpropagation) 과정에서 가중치 마스크가 어떤 데이터에 대해 어떤 파라미터를 업데이트할지 제어한다^OL.

• 모델이 일반 목적 텍스트를 처리할 때는 정상적으로 학습하지만, 보조 모듈도 나머지 모델과 호환되도록 함께 훈련된다^R.
• 모델이 바이러스학이나 사이버보안 같은 이중용도 범주의 텍스트를 만나면, 그래디언트 라우팅이 학습 신호를 해당 이중용도 범주에 대응하는 보조 모듈로만 보낸다. 따라서 해당 지식이 전체 모델 파라미터에 확산되는 것을 막는다^RA.
• 이 방식은 각 대상 영역의 지식을 전용 모듈에 집중시키고, 네트워크 전체로 퍼지지 않게 한다^AR.

추론 단계

훈련이 완료되면 개별 모듈을 제거하거나 비활성화해 특정 능력에 대한 접근을 차단하거나, 해당 지식 사용이 허가된 배포 환경에서는 그대로 둘 수 있다^R. 각 이중용도 범주가 자체 모듈에 매핑되므로, 4개 범주를 가진 단일 GRAM 훈련 모델은 각 모듈을 독립적으로 켜고 끄는 방식으로 이론상 2⁴ = 16가지 서로 다른 기능 프로필로 구성할 수 있다^R.

최대 50억 파라미터 모델 실험 결과

연구진은 여러 환경과 모델 크기에서 GRAM을 테스트했다^R:

1. 합성 데이터셋: 통제된 합성 환경에서 GRAM으로 모델이 선택된 주제를 '잊게' 만든 뒤, 처음부터 해당 주제를 필터링한 모델과 결과를 비교했다^R.
2. 실사 이중용도 데이터: 웹 텍스트, 코드, 과학 논문, 이중용도 영역을 포함한 더 현실적인 환경에서 GRAM 모듈을 제거하자 해당 능력이 감소했고, 데이터 필터링 효과에 근접하면서도 일반 성능은 유지되었다^RA.
3. 스케일링 연구: GRAM은 5천만~50억 파라미터 규모의 모델에서 테스트되었다^R. 주요 결과: GRAM은 데이터 필터링의 동작을 추적했고, 큰 모델일수록 모듈 온/오프 간 구분이 더 명확했으며, 테스트 환경에서 일부 사후 훈련 언러닝(unlearning) 방식보다 우수한 성능을 보였다^RA.

정책 맥락: 모듈식 제어에서 실제 수출 금지까지

GRAM 연구는 이 기술이 해결하려는 문제의 현실적 사례와 함께 주목받고 있다. 2025년 6월, 트럼프 행정부는 사이버보안 우려를 이유로 Anthropic의 Claude Fable 5·Mythos 5 모델에 수출 통제를 부과했다. 이 조치는 미국 내외를 막론하고 모든 외국인(Anthropic의 외국인 직원 포함)의 접근을 차단했다^ACC. 해당 금지는 18일간 지속되다가 상무부가 국가안보 검토 후 해제했다^FA.

이 사건은 현재 AI 접근 통제의 현실을 극명하게 보여준다. 즉, 모든 능력을 가진 모델 전체가 하나의 분할 불가능한 단위로 취급된다는 점이다. 모델에 위험한 능력이 하나라도 있으면 오늘날의 선택지는 시스템 전체를 차단하는 것뿐이다. GRAM은 이보다 훨씬 세분화된 대안을 제시한다. 모델 전체를 잠그는 대신, 배포 환경에 따라 특정 지식 범주만 허용하거나 차단할 수 있게 하는 것이다^R.

남은 과제와 한계

Anthropic 연구진은 GRAM을 명시적으로 초기 연구(preliminary work)로 규정하며 여러 한계를 지적했다^R:

• 프론티어 스케일 미검증: GRAM은 상용 Claude 모델이나 최첨단 프론티어 시스템 규모에서 작동이 입증되지 않았다^R.
• 평가 범위: 보고된 실험은 통제된 평가에 집중되어 있으며, 실제 다운스트림 능력 제거를 안정적으로 측정하는 것은 더 어려울 수 있다^R.
• 근본적 얽힘 문제: 일부 이중용도 능력은 일반 지식과 깊게 얽혀 있어, 어떤 국소화나 필터링 방식으로도 깔끔하게 분리하기 어려울 수 있다^RA.
• 데이터 레이블링 현실성: GRAM은 훈련 중 관련 이중용도 데이터를 식별하고 라우팅하는 데 의존하므로, 대규모로 이런 데이터를 안정적으로 레이블링하는 것은 여전히 중요한 실용적 과제다^R.
• 초기 연구 결과: Anthropic은 GRAM을 배포된 안전 메커니즘이 아닌 초기 연구 방향으로 제시하며, 실제로 배포될지 확신하지 못한다고 밝혔다^AR.