Cấu trúc hoạt động của GRAM

Giai đoạn Huấn luyện

GRAM bổ sung vào kiến trúc Transformer tiêu chuẩn các mô-đun phụ trợ nhỏ – về cơ bản là các nơ-ron chuyên dụng ở mọi tầng – có nhiệm vụ nắm bắt các năng lực lưỡng dụng cụ thể trong quá trình huấn luyện . Cơ chế chính là 'định tuyến gradient' (gradient routing): trong quá trình lan truyền ngược, các mặt nạ có trọng số (weighted masks) sẽ kiểm soát tham số nào được cập nhật cho dữ liệu nào .

• Khi mô hình xử lý văn bản thông thường, nó học một cách bình thường, trong khi các mô-đun phụ trợ cũng có thể được huấn luyện để tương thích với phần còn lại của mô hình .
• Khi mô hình gặp văn bản từ một danh mục lưỡng dụng như virus học hay an ninh mạng, việc định tuyến gradient sẽ hướng tín hiệu học tập đến mô-đun phụ trợ tương ứng, thay vì để kiến thức đó lan tỏa ra toàn bộ các tham số của mô hình .
• Điều này tập trung kiến thức về từng lĩnh vực mục tiêu vào một mô-đun chuyên dụng thay vì trải đều ra toàn bộ mạng lưới .

Giai đoạn Suy luận

Sau khi quá trình huấn luyện hoàn tất, các mô-đun riêng lẻ có thể bị loại bỏ hoặc vô hiệu hóa để giảm quyền truy cập vào một năng lực cụ thể, hoặc được giữ nguyên cho các triển khai được phép sử dụng kiến thức đó . Vì mỗi danh mục lưỡng dụng được gắn với một mô-đun riêng, một mô hình GRAM duy nhất với bốn danh mục có thể được cấu hình thành 2⁴ = 16 cấu hình năng lực khác nhau bằng cách bật hoặc tắt từng mô-đun một cách độc lập .

Kết quả trên các mô hình lên tới 5 tỷ tham số

Các nhà nghiên cứu đã thử nghiệm GRAM trên nhiều môi trường và kích thước mô hình khác nhau :

1. Bộ dữ liệu tổng hợp: Trong một môi trường tổng hợp có kiểm soát, GRAM đã khiến mô hình 'quên' các chủ đề đã chọn, và kết quả được so sánh với các mô hình được huấn luyện như thể các chủ đề đó đã bị lọc ngay từ đầu .
2. Dữ liệu lưỡng dụng thực tế: Trong một môi trường thực tế hơn sử dụng văn bản web, mã nguồn, bài báo khoa học và các lĩnh vực lưỡng dụng, việc loại bỏ một mô-đun GRAM đã làm giảm năng lực tương ứng – xấp xỉ tác động của việc lọc dữ liệu – trong khi vẫn duy trì hiệu suất cho các tác vụ thông thường .
3. Nghiên cứu mở rộng quy mô: GRAM được thử nghiệm trên các mô hình có kích thước từ 50 triệu đến 5 tỷ tham số . Các phát hiện chính: GRAM bắt chước hành vi của việc lọc dữ liệu; các mô hình lớn hơn cho thấy sự tách biệt rõ ràng hơn giữa trạng thái bật và tắt mô-đun; và phương pháp này hoạt động tốt hơn một số kỹ thuật 'học quên' sau huấn luyện (post-training unlearning) trong các môi trường thử nghiệm .

Bối cảnh Chính sách: Từ Kiểm soát Mô-đun đến Lệnh Cấm Xuất khẩu Thực tế

Nghiên cứu GRAM ra đời cùng lúc với một ví dụ thực tế gay cấn về vấn đề mà nó muốn giải quyết. Vào tháng 6 năm 2025, chính quyền Trump đã áp đặt các biện pháp kiểm soát xuất khẩu đối với các mô hình Claude Fable 5 và Mythos 5 của Anthropic sau những lo ngại về an ninh mạng, chặn quyền truy cập đối với bất kỳ công dân nước ngoài nào – dù ở trong hay ngoài nước Mỹ, bao gồm cả nhân viên nước ngoài của Anthropic . Lệnh cấm kéo dài 18 ngày trước khi Bộ Thương mại dỡ bỏ sau một cuộc đánh giá an ninh quốc gia .

Sự kiện này minh họa cho thực trạng kiểm soát truy cập AI hiện nay: toàn bộ một mô hình – với tất cả các năng lực của nó – bị coi như một khối duy nhất không thể chia cắt. Nếu một mô hình có năng lực nguy hiểm, lựa chọn duy nhất hiện tại là phải ngăn chặn toàn bộ hệ thống. GRAM đề xuất một giải pháp thay thế tinh vi hơn: thay vì khóa toàn bộ mô hình, một hệ thống có thể cho phép hoặc vô hiệu hóa các danh mục kiến thức cụ thể tùy thuộc vào bối cảnh triển khai .

Những Câu hỏi Mở và Hạn chế

Các nhà nghiên cứu của Anthropic xác định rõ ràng GRAM mới chỉ là công trình sơ bộ và nêu bật một số hạn chế :

• Chưa thử nghiệm ở quy mô tiên phong: GRAM chưa được chứng minh hiệu quả trên các mô hình Claude thương mại hoặc ở quy mô của các hệ thống tiên phong lớn nhất .
• Phạm vi đánh giá: Các thí nghiệm được báo cáo tập trung vào các đánh giá có kiểm soát; việc loại bỏ năng lực thực tế có thể khó đo lường một cách đáng tin cậy hơn .
• Vấn đề đan xen cốt lõi: Một số năng lực lưỡng dụng có thể bị đan xen sâu sắc với kiến thức chung, khiến chúng khó bị tách biệt một cách triệt để bằng bất kỳ phương pháp bản địa hóa hay lọc nào .
• Tính thực tế của việc gán nhãn dữ liệu: GRAM phụ thuộc vào việc xác định và định tuyến dữ liệu lưỡng dụng có liên quan trong quá trình huấn luyện, do đó, việc gán nhãn dữ liệu đó một cách đáng tin cậy trên quy mô lớn vẫn là một thách thức thực tế quan trọng .
• Phát hiện sơ bộ: Anthropic trình bày GRAM như một hướng nghiên cứu ban đầu chứ không phải một cơ chế an toàn đã được triển khai – và tổ chức này không chắc nó có bao giờ được triển khai hay không .

Cấu trúc hoạt động của GRAM

Giai đoạn Huấn luyện

GRAM bổ sung vào kiến trúc Transformer tiêu chuẩn các mô-đun phụ trợ nhỏ – về cơ bản là các nơ-ron chuyên dụng ở mọi tầng – có nhiệm vụ nắm bắt các năng lực lưỡng dụng cụ thể trong quá trình huấn luyện . Cơ chế chính là 'định tuyến gradient' (gradient routing): trong quá trình lan truyền ngược, các mặt nạ có trọng số (weighted masks) sẽ kiểm soát tham số nào được cập nhật cho dữ liệu nào .

• Khi mô hình xử lý văn bản thông thường, nó học một cách bình thường, trong khi các mô-đun phụ trợ cũng có thể được huấn luyện để tương thích với phần còn lại của mô hình .
• Khi mô hình gặp văn bản từ một danh mục lưỡng dụng như virus học hay an ninh mạng, việc định tuyến gradient sẽ hướng tín hiệu học tập đến mô-đun phụ trợ tương ứng, thay vì để kiến thức đó lan tỏa ra toàn bộ các tham số của mô hình .
• Điều này tập trung kiến thức về từng lĩnh vực mục tiêu vào một mô-đun chuyên dụng thay vì trải đều ra toàn bộ mạng lưới .

Giai đoạn Suy luận

Sau khi quá trình huấn luyện hoàn tất, các mô-đun riêng lẻ có thể bị loại bỏ hoặc vô hiệu hóa để giảm quyền truy cập vào một năng lực cụ thể, hoặc được giữ nguyên cho các triển khai được phép sử dụng kiến thức đó . Vì mỗi danh mục lưỡng dụng được gắn với một mô-đun riêng, một mô hình GRAM duy nhất với bốn danh mục có thể được cấu hình thành 2⁴ = 16 cấu hình năng lực khác nhau bằng cách bật hoặc tắt từng mô-đun một cách độc lập .

Kết quả trên các mô hình lên tới 5 tỷ tham số

Các nhà nghiên cứu đã thử nghiệm GRAM trên nhiều môi trường và kích thước mô hình khác nhau :

1. Bộ dữ liệu tổng hợp: Trong một môi trường tổng hợp có kiểm soát, GRAM đã khiến mô hình 'quên' các chủ đề đã chọn, và kết quả được so sánh với các mô hình được huấn luyện như thể các chủ đề đó đã bị lọc ngay từ đầu .
2. Dữ liệu lưỡng dụng thực tế: Trong một môi trường thực tế hơn sử dụng văn bản web, mã nguồn, bài báo khoa học và các lĩnh vực lưỡng dụng, việc loại bỏ một mô-đun GRAM đã làm giảm năng lực tương ứng – xấp xỉ tác động của việc lọc dữ liệu – trong khi vẫn duy trì hiệu suất cho các tác vụ thông thường .
3. Nghiên cứu mở rộng quy mô: GRAM được thử nghiệm trên các mô hình có kích thước từ 50 triệu đến 5 tỷ tham số . Các phát hiện chính: GRAM bắt chước hành vi của việc lọc dữ liệu; các mô hình lớn hơn cho thấy sự tách biệt rõ ràng hơn giữa trạng thái bật và tắt mô-đun; và phương pháp này hoạt động tốt hơn một số kỹ thuật 'học quên' sau huấn luyện (post-training unlearning) trong các môi trường thử nghiệm .

Bối cảnh Chính sách: Từ Kiểm soát Mô-đun đến Lệnh Cấm Xuất khẩu Thực tế

Nghiên cứu GRAM ra đời cùng lúc với một ví dụ thực tế gay cấn về vấn đề mà nó muốn giải quyết. Vào tháng 6 năm 2025, chính quyền Trump đã áp đặt các biện pháp kiểm soát xuất khẩu đối với các mô hình Claude Fable 5 và Mythos 5 của Anthropic sau những lo ngại về an ninh mạng, chặn quyền truy cập đối với bất kỳ công dân nước ngoài nào – dù ở trong hay ngoài nước Mỹ, bao gồm cả nhân viên nước ngoài của Anthropic . Lệnh cấm kéo dài 18 ngày trước khi Bộ Thương mại dỡ bỏ sau một cuộc đánh giá an ninh quốc gia .

Sự kiện này minh họa cho thực trạng kiểm soát truy cập AI hiện nay: toàn bộ một mô hình – với tất cả các năng lực của nó – bị coi như một khối duy nhất không thể chia cắt. Nếu một mô hình có năng lực nguy hiểm, lựa chọn duy nhất hiện tại là phải ngăn chặn toàn bộ hệ thống. GRAM đề xuất một giải pháp thay thế tinh vi hơn: thay vì khóa toàn bộ mô hình, một hệ thống có thể cho phép hoặc vô hiệu hóa các danh mục kiến thức cụ thể tùy thuộc vào bối cảnh triển khai .

Những Câu hỏi Mở và Hạn chế

Các nhà nghiên cứu của Anthropic xác định rõ ràng GRAM mới chỉ là công trình sơ bộ và nêu bật một số hạn chế :

• Chưa thử nghiệm ở quy mô tiên phong: GRAM chưa được chứng minh hiệu quả trên các mô hình Claude thương mại hoặc ở quy mô của các hệ thống tiên phong lớn nhất .
• Phạm vi đánh giá: Các thí nghiệm được báo cáo tập trung vào các đánh giá có kiểm soát; việc loại bỏ năng lực thực tế có thể khó đo lường một cách đáng tin cậy hơn .
• Vấn đề đan xen cốt lõi: Một số năng lực lưỡng dụng có thể bị đan xen sâu sắc với kiến thức chung, khiến chúng khó bị tách biệt một cách triệt để bằng bất kỳ phương pháp bản địa hóa hay lọc nào .
• Tính thực tế của việc gán nhãn dữ liệu: GRAM phụ thuộc vào việc xác định và định tuyến dữ liệu lưỡng dụng có liên quan trong quá trình huấn luyện, do đó, việc gán nhãn dữ liệu đó một cách đáng tin cậy trên quy mô lớn vẫn là một thách thức thực tế quan trọng .
• Phát hiện sơ bộ: Anthropic trình bày GRAM như một hướng nghiên cứu ban đầu chứ không phải một cơ chế an toàn đã được triển khai – và tổ chức này không chắc nó có bao giờ được triển khai hay không .