Google phát hành mô hình lượng tử hóa Gemma 4 QAT: Trí tuệ nhân tạo mạnh mẽ thu nhỏ vừa chiếc điện thoại

Vào ngày 5 tháng 6 năm 2026, Google DeepMind đã chính thức phát hành các điểm kiểm tra QAT (Quantization-Aware Training – Huấn luyện có nhận thức về lượng tử hóa) cho toàn bộ dòng mô hình Gemma 4 . Đây là một bước tiến lớn trong việc dân chủ hóa AI, cho phép các mô hình ngôn ngữ và đa phương thức mạnh mẽ chạy trực tiếp trên máy tính cá nhân, laptop và thậm chí cả điện thoại thông minh mà vẫn giữ được hiệu năng ấn tượng.

QAT là gì và tại sao nó quan trọng?

Lượng tử hóa (Quantization) là kỹ thuật giảm độ chính xác của các con số mà mô hình dùng để lưu trữ và tính toán. Thay vì dùng 16 bit cho mỗi tham số (độ chính xác BF16), int4 chỉ dùng 4 bit, giúp giảm kích thước dữ liệu xuống 4 lần . Tuy nhiên, các phương pháp lượng tử hóa truyền thống thường làm giảm đáng kể chất lượng đầu ra của mô hình.

QAT giải quyết vấn đề này một cách triệt để. Thay vì nén một mô hình đã huấn luyện xong (hậu lượng tử hóa - PTQ), QAT tích hợp mô phỏng quá trình lượng tử hóa vào chính giai đoạn huấn luyện. Điều này cho phép mô hình "học" cách bù đắp cho sự mất mát độ chính xác, kết quả là phiên bản 4-bit vẫn giữ được hiệu năng gần như bản gốc 16-bit .

Các điểm kiểm tra chính thức sử dụng sơ đồ W4A16 cho các mô hình Gemma 4 dày đặc: trọng số nguyên 4 bit, kích hoạt 16 bit, với group_size=32, sử dụng định dạng compressed-tensors .

Năm kích cỡ mô hình và mức độ nén

Dòng Gemma 4 cung cấp năm kích cỡ tham số khác nhau, phục vụ từ các thiết bị biên nhỏ nhất đến các máy trạm cấu hình cao :

Mô hình	Kiến trúc	Bộ nhớ QAT 4-bit	Tiết kiệm so với BF16
E2B	Dày đặc, 2.3B tham số hiệu dụng	~1–3.2 GB	Giảm ~72%
E4B	Dày đặc, 4.5B tham số hiệu dụng	~5 GB	Giảm ~72%
12B	Hợp nhất văn bản/hình ảnh/âm thanh	~7 GB	Giảm ~72%

Lưu ý đặc biệt về mô hình 26B A4B: Đây là kiến trúc Hỗn hợp Chuyên gia (MoE) với tổng 26 tỷ tham số nhưng chỉ kích hoạt khoảng 3.8 tỷ tham số cho mỗi token. Điều này có nghĩa là bạn nhận được sức mạnh suy luận của một mô hình cỡ 26B nhưng chi phí tính toán chỉ tương đương một mô hình 4B khi chạy suy luận .

Các định dạng triển khai đa dạng

Google cung cấp bốn phiên bản điểm kiểm tra QAT, đáp ứng hầu hết các hệ sinh thái suy luận phổ biến :

• Compressed-tensors (định dạng gốc): Điểm kiểm tra W4A16 chính thức dành cho suy luận kiểu vLLM, tối ưu cho tốc độ và bộ nhớ thấp .
• GGUF (Q4_0): Định dạng sẵn sàng triển khai cho các thư viện như Ollama, llama.cpp, và MLX, tương thích rộng rãi với hệ sinh thái mã nguồn mở .
• Định dạng di động mới (wNa8o8): Một lược đồ tùy chỉnh được thiết kế riêng cho phần cứng di động, sử dụng hỗn hợp các độ rộng lượng tử hóa (bao gồm lớp giải mã 2 bit và KV cache tối ưu), giúp giảm bộ nhớ của E2B xuống chỉ còn khoảng 1GB .
• Điểm kiểm tra QAT chưa lượng tử hóa: Dành cho các nhà nghiên cứu muốn tự biên dịch và tùy chỉnh quá trình lượng tử hóa .

Ý nghĩa thực tiễn: AI đỉnh cao trên phần cứng tiêu dùng

Việc phát hành QAT chính thức mang lại những khả năng chưa từng có cho người dùng phổ thông:

Trên điện thoại thông minh và thiết bị biên

• E2B và E4B được định vị rõ ràng cho thiết bị di động, hỗ trợ đầu vào văn bản, hình ảnh và cả âm thanh .
• Với định dạng di động mới, Gemma 4 E2B có thể chạy với chỉ 1GB RAM, và phiên bản chỉ văn bản thậm chí còn dưới 1GB .
• Các ứng dụng như trợ lý ảo, dịch giọng nói và tạo văn bản thông minh giờ đây có thể hoạt động hoàn toàn trên thiết bị, không cần kết nối đám mây.

Trên máy tính cá nhân và laptop

• Card đồ họa 8GB VRAM (như RTX 3070/4060): Bạn có thể chạy mượt mà E2B, E4B, và thậm chí cả bản 12B mới với hỗ trợ đa phương thức .
• Card đồ họa 12-16GB VRAM: Mô hình 26B A4B (MoE) với sức mạnh suy luận đáng kinh ngạc hoàn toàn nằm trong tầm tay.
• Card đồ họa 24GB VRAM (như RTX 3090/4090): Bạn có thể chạy bản 31B với ngữ cảnh lên đến 256K token, mở ra tiềm năng cho các tác vụ lập trình, nghiên cứu và suy luận phức tạp ngay trên máy cá nhân .

Những gì bạn được mở khóa

Mô hình 31B với cửa sổ ngữ cảnh 256K token giờ đây khả thi trên phần cứng tiêu dùng cao cấp, thay vì đòi hỏi GPU máy chủ H100 80GB như trước đây . Điều này có nghĩa là các nhà phát triển độc lập, sinh viên và các công ty khởi nghiệp có thể thử nghiệm và triển khai các tác nhân AI (agentic workflows), trợ lý lập trình và hệ thống suy luận phức tạp mà không cần chi phí đám mây khổng lồ .

Cảnh báo quan trọng: Chọn đúng định dạng

Mặc dù QAT mang lại lợi thế vượt trội, Google và cộng đồng (như Unsloth) đã đưa ra một lưu ý quan trọng. Việc chuyển đổi một cách "ngây thơ" từ trọng số QAT sang định dạng Q4_0 tiêu chuẩn có thể làm giảm mạnh độ chính xác. Thử nghiệm với mô hình 26B cho thấy cách chuyển đổi thô sơ chỉ đạt 70.2% độ chính xác top-1, nhưng khi áp dụng phương pháp tối ưu hóa động (Unsloth Dynamic), con số này được đẩy lên 85.6% .

Lời khuyên thực tế là hãy ưu tiên sử dụng các điểm kiểm tra QAT-oriented chính thức (như compressed-tensors hoặc GGUF chính chủ từ Google) để bảo toàn tối đa chất lượng mà QAT mang lại .

Kết luận

Với việc phát hành các điểm kiểm tra QAT cho Gemma 4, Google đã xóa nhòa ranh giới giữa AI "phòng thí nghiệm" và AI "trong túi bạn". Từ chiếc điện thoại Android với 1GB RAM cho đến máy trạm RTX 4090 mạnh mẽ, giờ đây sức mạnh của các mô hình ngôn ngữ lớn nhất đã thực sự được dân chủ hóa. Kỷ nguyên AI riêng tư, ngoại tuyến và cá nhân hóa sâu sắc đã chính thức bắt đầu.