Google phát hành mô hình lượng tử hóa Gemma 4 QAT: Trí tuệ nhân tạo mạnh mẽ thu nhỏ vừa chiếc điện thoại
Google chính thức phát hành các điểm kiểm tra QAT cho năm kích cỡ mô hình Gemma 4: E2B, E4B, 12B, 26B A4B và 31B, sử dụng phương pháp lượng tử hóa W4A16 cho các mô hình dày đặc [1][4][5]. QAT mô phỏng quá trình lượng tử hóa ngay trong lúc huấn luyện, giúp mô hình học cách bù đắp cho sự mất mát độ chính xác, duy trì...
Đăng bởiBiên tập bằng DeepSeek-V4-ProHình ảnh được tạo bằng GPT Image 1.5
Google chính thức phát hành các điểm kiểm tra QAT cho năm kích cỡ mô hình Gemma 4: E2B, E4B, 12B, 26B A4B và 31B, sử dụng phương pháp lượng tử hóa W4A16 cho các mô hình dày đặc [1][4][5].
QAT mô phỏng quá trình lượng tử hóa ngay trong lúc huấn luyện, giúp mô hình học cách bù đắp cho sự mất mát độ chính xác, duy trì hiệu năng gần như bản gốc 16 bit [2][5].
Với QAT, Gemma 4 E2B có thể chạy chỉ với 1GB RAM trên thiết bị di động, E4B cần 5GB, 12B cần 7GB, 26B A4B cần 15GB và bản 31B cần 18 20GB ở chế độ 4 bit [3][5][6].
Các định dạng triển khai bao gồm compressed tensors cho vLLM, GGUF Q4 0 cho Ollama/llama.cpp, và một định dạng di động mới tối ưu hóa cho phần cứng điện thoại [1][5][15].
What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes andGoogle's QAT checkpoints compress Gemma 4 models by roughly 72%, enabling deployment on hardware from smartphones to consumer GPUs.
Prompt AI
Create a landscape editorial hero image for this Studio Global article: What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes and. Article summary: Google provides official Quantization-Aware Training (QAT) checkpoints for Gemma 4, and the Gemma 4 lineup includes E2B, E4B, 12B, 26B A4B, and 31B sizes [1][4][5]. Here are the key details.. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# What Is Google Gemma 4? Google Gemma 4 is the most capable open model family from DeepMind yet, shipping four sizes under Apache 2.0 with multimodal input, native reasoning, and" source context "What Is Google Gemma 4? Architecture, Benchmarks, and Why It ..." Reference image 2: visual subject "# What Is Google Gemma 4? Google
openai.com
Vào ngày 5 tháng 6 năm 2026, Google DeepMind đã chính thức phát hành các điểm kiểm tra QAT (Quantization-Aware Training – Huấn luyện có nhận thức về lượng tử hóa) cho toàn bộ dòng mô hình Gemma 4 . Đây là một bước tiến lớn trong việc dân chủ hóa AI, cho phép các mô hình ngôn ngữ và đa phương thức mạnh mẽ chạy trực tiếp trên máy tính cá nhân, laptop và thậm chí cả điện thoại thông minh mà vẫn giữ được hiệu năng ấn tượng.
QAT là gì và tại sao nó quan trọng?
Lượng tử hóa (Quantization) là kỹ thuật giảm độ chính xác của các con số mà mô hình dùng để lưu trữ và tính toán. Thay vì dùng 16 bit cho mỗi tham số (độ chính xác BF16), int4 chỉ dùng 4 bit, giúp giảm kích thước dữ liệu xuống 4 lần . Tuy nhiên, các phương pháp lượng tử hóa truyền thống thường làm giảm đáng kể chất lượng đầu ra của mô hình.
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Câu trả lời ngắn gọn cho "Google phát hành mô hình lượng tử hóa Gemma 4 QAT: Trí tuệ nhân tạo mạnh mẽ thu nhỏ vừa chiếc điện thoại" là gì?
Google chính thức phát hành các điểm kiểm tra QAT cho năm kích cỡ mô hình Gemma 4: E2B, E4B, 12B, 26B A4B và 31B, sử dụng phương pháp lượng tử hóa W4A16 cho các mô hình dày đặc [1][4][5].
Những điểm chính cần xác nhận đầu tiên là gì?
Google chính thức phát hành các điểm kiểm tra QAT cho năm kích cỡ mô hình Gemma 4: E2B, E4B, 12B, 26B A4B và 31B, sử dụng phương pháp lượng tử hóa W4A16 cho các mô hình dày đặc [1][4][5]. QAT mô phỏng quá trình lượng tử hóa ngay trong lúc huấn luyện, giúp mô hình học cách bù đắp cho sự mất mát độ chính xác, duy trì hiệu năng gần như bản gốc 16 bit [2][5].
Tôi nên làm gì tiếp theo trong thực tế?
Với QAT, Gemma 4 E2B có thể chạy chỉ với 1GB RAM trên thiết bị di động, E4B cần 5GB, 12B cần 7GB, 26B A4B cần 15GB và bản 31B cần 18 20GB ở chế độ 4 bit [3][5][6].
Google phát hành mô hình lượng tử hóa Gemma 4 QAT: Trí tuệ nhân tạo mạnh mẽ thu nhỏ vừa chiếc điện thoại
Google chính thức phát hành các điểm kiểm tra QAT cho năm kích cỡ mô hình Gemma 4: E2B, E4B, 12B, 26B A4B và 31B, sử dụng phương pháp lượng tử hóa W4A16 cho các mô hình dày đặc [1][4][5]. QAT mô phỏng quá trình lượng tử hóa ngay trong lúc huấn luyện, giúp mô hình học cách bù đắp cho sự mất mát độ chính xác, duy trì...
Đăng bởiBiên tập bằng DeepSeek-V4-ProHình ảnh được tạo bằng GPT Image 1.5
Google chính thức phát hành các điểm kiểm tra QAT cho năm kích cỡ mô hình Gemma 4: E2B, E4B, 12B, 26B A4B và 31B, sử dụng phương pháp lượng tử hóa W4A16 cho các mô hình dày đặc [1][4][5].
QAT mô phỏng quá trình lượng tử hóa ngay trong lúc huấn luyện, giúp mô hình học cách bù đắp cho sự mất mát độ chính xác, duy trì hiệu năng gần như bản gốc 16 bit [2][5].
Với QAT, Gemma 4 E2B có thể chạy chỉ với 1GB RAM trên thiết bị di động, E4B cần 5GB, 12B cần 7GB, 26B A4B cần 15GB và bản 31B cần 18 20GB ở chế độ 4 bit [3][5][6].
Các định dạng triển khai bao gồm compressed tensors cho vLLM, GGUF Q4 0 cho Ollama/llama.cpp, và một định dạng di động mới tối ưu hóa cho phần cứng điện thoại [1][5][15].
What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes andGoogle's QAT checkpoints compress Gemma 4 models by roughly 72%, enabling deployment on hardware from smartphones to consumer GPUs.
Prompt AI
Create a landscape editorial hero image for this Studio Global article: What are the key details of Google's June 4 release of Gemma 4 QAT models, including their quantization approach, supported model sizes and. Article summary: Google provides official Quantization-Aware Training (QAT) checkpoints for Gemma 4, and the Gemma 4 lineup includes E2B, E4B, 12B, 26B A4B, and 31B sizes [1][4][5]. Here are the key details.. Topic tags: general, documentation, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# What Is Google Gemma 4? Google Gemma 4 is the most capable open model family from DeepMind yet, shipping four sizes under Apache 2.0 with multimodal input, native reasoning, and" source context "What Is Google Gemma 4? Architecture, Benchmarks, and Why It ..." Reference image 2: visual subject "# What Is Google Gemma 4? Google
openai.com
Vào ngày 5 tháng 6 năm 2026, Google DeepMind đã chính thức phát hành các điểm kiểm tra QAT (Quantization-Aware Training – Huấn luyện có nhận thức về lượng tử hóa) cho toàn bộ dòng mô hình Gemma 4 . Đây là một bước tiến lớn trong việc dân chủ hóa AI, cho phép các mô hình ngôn ngữ và đa phương thức mạnh mẽ chạy trực tiếp trên máy tính cá nhân, laptop và thậm chí cả điện thoại thông minh mà vẫn giữ được hiệu năng ấn tượng.
QAT là gì và tại sao nó quan trọng?
Lượng tử hóa (Quantization) là kỹ thuật giảm độ chính xác của các con số mà mô hình dùng để lưu trữ và tính toán. Thay vì dùng 16 bit cho mỗi tham số (độ chính xác BF16), int4 chỉ dùng 4 bit, giúp giảm kích thước dữ liệu xuống 4 lần . Tuy nhiên, các phương pháp lượng tử hóa truyền thống thường làm giảm đáng kể chất lượng đầu ra của mô hình.
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Câu trả lời ngắn gọn cho "Google phát hành mô hình lượng tử hóa Gemma 4 QAT: Trí tuệ nhân tạo mạnh mẽ thu nhỏ vừa chiếc điện thoại" là gì?
Google chính thức phát hành các điểm kiểm tra QAT cho năm kích cỡ mô hình Gemma 4: E2B, E4B, 12B, 26B A4B và 31B, sử dụng phương pháp lượng tử hóa W4A16 cho các mô hình dày đặc [1][4][5].
Những điểm chính cần xác nhận đầu tiên là gì?
Google chính thức phát hành các điểm kiểm tra QAT cho năm kích cỡ mô hình Gemma 4: E2B, E4B, 12B, 26B A4B và 31B, sử dụng phương pháp lượng tử hóa W4A16 cho các mô hình dày đặc [1][4][5]. QAT mô phỏng quá trình lượng tử hóa ngay trong lúc huấn luyện, giúp mô hình học cách bù đắp cho sự mất mát độ chính xác, duy trì hiệu năng gần như bản gốc 16 bit [2][5].
Tôi nên làm gì tiếp theo trong thực tế?
Với QAT, Gemma 4 E2B có thể chạy chỉ với 1GB RAM trên thiết bị di động, E4B cần 5GB, 12B cần 7GB, 26B A4B cần 15GB và bản 31B cần 18 20GB ở chế độ 4 bit [3][5][6].
QAT giải quyết vấn đề này một cách triệt để. Thay vì nén một mô hình đã huấn luyện xong (hậu lượng tử hóa - PTQ), QAT tích hợp mô phỏng quá trình lượng tử hóa vào chính giai đoạn huấn luyện. Điều này cho phép mô hình "học" cách bù đắp cho sự mất mát độ chính xác, kết quả là phiên bản 4-bit vẫn giữ được hiệu năng gần như bản gốc 16-bit .
Các điểm kiểm tra chính thức sử dụng sơ đồ W4A16 cho các mô hình Gemma 4 dày đặc: trọng số nguyên 4 bit, kích hoạt 16 bit, với group_size=32, sử dụng định dạng compressed-tensors.
Năm kích cỡ mô hình và mức độ nén
Dòng Gemma 4 cung cấp năm kích cỡ tham số khác nhau, phục vụ từ các thiết bị biên nhỏ nhất đến các máy trạm cấu hình cao :
Mô hình
Kiến trúc
Bộ nhớ QAT 4-bit
Tiết kiệm so với BF16
E2B
Dày đặc, 2.3B tham số hiệu dụng
~1–3.2 GB
Giảm ~72%
E4B
Dày đặc, 4.5B tham số hiệu dụng
~5 GB
Giảm ~72%
12B
Hợp nhất văn bản/hình ảnh/âm thanh
~7 GB
Giảm ~72%
26B A4B
MoE (Hỗn hợp chuyên gia)
~15 GB
Giảm ~72%
31B
Dày đặc, 30.7B tham số
~18–20 GB
Giảm ~72%
Lưu ý đặc biệt về mô hình 26B A4B: Đây là kiến trúc Hỗn hợp Chuyên gia (MoE) với tổng 26 tỷ tham số nhưng chỉ kích hoạt khoảng 3.8 tỷ tham số cho mỗi token. Điều này có nghĩa là bạn nhận được sức mạnh suy luận của một mô hình cỡ 26B nhưng chi phí tính toán chỉ tương đương một mô hình 4B khi chạy suy luận .
Các định dạng triển khai đa dạng
Google cung cấp bốn phiên bản điểm kiểm tra QAT, đáp ứng hầu hết các hệ sinh thái suy luận phổ biến :
Compressed-tensors (định dạng gốc): Điểm kiểm tra W4A16 chính thức dành cho suy luận kiểu vLLM, tối ưu cho tốc độ và bộ nhớ thấp .
GGUF (Q4_0): Định dạng sẵn sàng triển khai cho các thư viện như Ollama, llama.cpp, và MLX, tương thích rộng rãi với hệ sinh thái mã nguồn mở .
Định dạng di động mới (wNa8o8): Một lược đồ tùy chỉnh được thiết kế riêng cho phần cứng di động, sử dụng hỗn hợp các độ rộng lượng tử hóa (bao gồm lớp giải mã 2 bit và KV cache tối ưu), giúp giảm bộ nhớ của E2B xuống chỉ còn khoảng 1GB .
Điểm kiểm tra QAT chưa lượng tử hóa: Dành cho các nhà nghiên cứu muốn tự biên dịch và tùy chỉnh quá trình lượng tử hóa .
Ý nghĩa thực tiễn: AI đỉnh cao trên phần cứng tiêu dùng
Việc phát hành QAT chính thức mang lại những khả năng chưa từng có cho người dùng phổ thông:
Trên điện thoại thông minh và thiết bị biên
E2B và E4B được định vị rõ ràng cho thiết bị di động, hỗ trợ đầu vào văn bản, hình ảnh và cả âm thanh .
Với định dạng di động mới, Gemma 4 E2B có thể chạy với chỉ 1GB RAM, và phiên bản chỉ văn bản thậm chí còn dưới 1GB .
Các ứng dụng như trợ lý ảo, dịch giọng nói và tạo văn bản thông minh giờ đây có thể hoạt động hoàn toàn trên thiết bị, không cần kết nối đám mây.
Trên máy tính cá nhân và laptop
Card đồ họa 8GB VRAM (như RTX 3070/4060): Bạn có thể chạy mượt mà E2B, E4B, và thậm chí cả bản 12B mới với hỗ trợ đa phương thức .
Card đồ họa 12-16GB VRAM: Mô hình 26B A4B (MoE) với sức mạnh suy luận đáng kinh ngạc hoàn toàn nằm trong tầm tay.
Card đồ họa 24GB VRAM (như RTX 3090/4090): Bạn có thể chạy bản 31B với ngữ cảnh lên đến 256K token, mở ra tiềm năng cho các tác vụ lập trình, nghiên cứu và suy luận phức tạp ngay trên máy cá nhân .
Những gì bạn được mở khóa
Mô hình 31B với cửa sổ ngữ cảnh 256K token giờ đây khả thi trên phần cứng tiêu dùng cao cấp, thay vì đòi hỏi GPU máy chủ H100 80GB như trước đây . Điều này có nghĩa là các nhà phát triển độc lập, sinh viên và các công ty khởi nghiệp có thể thử nghiệm và triển khai các tác nhân AI (agentic workflows), trợ lý lập trình và hệ thống suy luận phức tạp mà không cần chi phí đám mây khổng lồ .
Cảnh báo quan trọng: Chọn đúng định dạng
Mặc dù QAT mang lại lợi thế vượt trội, Google và cộng đồng (như Unsloth) đã đưa ra một lưu ý quan trọng. Việc chuyển đổi một cách "ngây thơ" từ trọng số QAT sang định dạng Q4_0 tiêu chuẩn có thể làm giảm mạnh độ chính xác. Thử nghiệm với mô hình 26B cho thấy cách chuyển đổi thô sơ chỉ đạt 70.2% độ chính xác top-1, nhưng khi áp dụng phương pháp tối ưu hóa động (Unsloth Dynamic), con số này được đẩy lên 85.6%.
Lời khuyên thực tế là hãy ưu tiên sử dụng các điểm kiểm tra QAT-oriented chính thức (như compressed-tensors hoặc GGUF chính chủ từ Google) để bảo toàn tối đa chất lượng mà QAT mang lại .
Kết luận
Với việc phát hành các điểm kiểm tra QAT cho Gemma 4, Google đã xóa nhòa ranh giới giữa AI "phòng thí nghiệm" và AI "trong túi bạn". Từ chiếc điện thoại Android với 1GB RAM cho đến máy trạm RTX 4090 mạnh mẽ, giờ đây sức mạnh của các mô hình ngôn ngữ lớn nhất đã thực sự được dân chủ hóa. Kỷ nguyên AI riêng tư, ngoại tuyến và cá nhân hóa sâu sắc đã chính thức bắt đầu.
QAT giải quyết vấn đề này một cách triệt để. Thay vì nén một mô hình đã huấn luyện xong (hậu lượng tử hóa - PTQ), QAT tích hợp mô phỏng quá trình lượng tử hóa vào chính giai đoạn huấn luyện. Điều này cho phép mô hình "học" cách bù đắp cho sự mất mát độ chính xác, kết quả là phiên bản 4-bit vẫn giữ được hiệu năng gần như bản gốc 16-bit .
Các điểm kiểm tra chính thức sử dụng sơ đồ W4A16 cho các mô hình Gemma 4 dày đặc: trọng số nguyên 4 bit, kích hoạt 16 bit, với group_size=32, sử dụng định dạng compressed-tensors.
Năm kích cỡ mô hình và mức độ nén
Dòng Gemma 4 cung cấp năm kích cỡ tham số khác nhau, phục vụ từ các thiết bị biên nhỏ nhất đến các máy trạm cấu hình cao :
Mô hình
Kiến trúc
Bộ nhớ QAT 4-bit
Tiết kiệm so với BF16
E2B
Dày đặc, 2.3B tham số hiệu dụng
~1–3.2 GB
Giảm ~72%
E4B
Dày đặc, 4.5B tham số hiệu dụng
~5 GB
Giảm ~72%
12B
Hợp nhất văn bản/hình ảnh/âm thanh
~7 GB
Giảm ~72%
26B A4B
MoE (Hỗn hợp chuyên gia)
~15 GB
Giảm ~72%
31B
Dày đặc, 30.7B tham số
~18–20 GB
Giảm ~72%
Lưu ý đặc biệt về mô hình 26B A4B: Đây là kiến trúc Hỗn hợp Chuyên gia (MoE) với tổng 26 tỷ tham số nhưng chỉ kích hoạt khoảng 3.8 tỷ tham số cho mỗi token. Điều này có nghĩa là bạn nhận được sức mạnh suy luận của một mô hình cỡ 26B nhưng chi phí tính toán chỉ tương đương một mô hình 4B khi chạy suy luận .
Các định dạng triển khai đa dạng
Google cung cấp bốn phiên bản điểm kiểm tra QAT, đáp ứng hầu hết các hệ sinh thái suy luận phổ biến :
Compressed-tensors (định dạng gốc): Điểm kiểm tra W4A16 chính thức dành cho suy luận kiểu vLLM, tối ưu cho tốc độ và bộ nhớ thấp .
GGUF (Q4_0): Định dạng sẵn sàng triển khai cho các thư viện như Ollama, llama.cpp, và MLX, tương thích rộng rãi với hệ sinh thái mã nguồn mở .
Định dạng di động mới (wNa8o8): Một lược đồ tùy chỉnh được thiết kế riêng cho phần cứng di động, sử dụng hỗn hợp các độ rộng lượng tử hóa (bao gồm lớp giải mã 2 bit và KV cache tối ưu), giúp giảm bộ nhớ của E2B xuống chỉ còn khoảng 1GB .
Điểm kiểm tra QAT chưa lượng tử hóa: Dành cho các nhà nghiên cứu muốn tự biên dịch và tùy chỉnh quá trình lượng tử hóa .
Ý nghĩa thực tiễn: AI đỉnh cao trên phần cứng tiêu dùng
Việc phát hành QAT chính thức mang lại những khả năng chưa từng có cho người dùng phổ thông:
Trên điện thoại thông minh và thiết bị biên
E2B và E4B được định vị rõ ràng cho thiết bị di động, hỗ trợ đầu vào văn bản, hình ảnh và cả âm thanh .
Với định dạng di động mới, Gemma 4 E2B có thể chạy với chỉ 1GB RAM, và phiên bản chỉ văn bản thậm chí còn dưới 1GB .
Các ứng dụng như trợ lý ảo, dịch giọng nói và tạo văn bản thông minh giờ đây có thể hoạt động hoàn toàn trên thiết bị, không cần kết nối đám mây.
Trên máy tính cá nhân và laptop
Card đồ họa 8GB VRAM (như RTX 3070/4060): Bạn có thể chạy mượt mà E2B, E4B, và thậm chí cả bản 12B mới với hỗ trợ đa phương thức .
Card đồ họa 12-16GB VRAM: Mô hình 26B A4B (MoE) với sức mạnh suy luận đáng kinh ngạc hoàn toàn nằm trong tầm tay.
Card đồ họa 24GB VRAM (như RTX 3090/4090): Bạn có thể chạy bản 31B với ngữ cảnh lên đến 256K token, mở ra tiềm năng cho các tác vụ lập trình, nghiên cứu và suy luận phức tạp ngay trên máy cá nhân .
Những gì bạn được mở khóa
Mô hình 31B với cửa sổ ngữ cảnh 256K token giờ đây khả thi trên phần cứng tiêu dùng cao cấp, thay vì đòi hỏi GPU máy chủ H100 80GB như trước đây . Điều này có nghĩa là các nhà phát triển độc lập, sinh viên và các công ty khởi nghiệp có thể thử nghiệm và triển khai các tác nhân AI (agentic workflows), trợ lý lập trình và hệ thống suy luận phức tạp mà không cần chi phí đám mây khổng lồ .
Cảnh báo quan trọng: Chọn đúng định dạng
Mặc dù QAT mang lại lợi thế vượt trội, Google và cộng đồng (như Unsloth) đã đưa ra một lưu ý quan trọng. Việc chuyển đổi một cách "ngây thơ" từ trọng số QAT sang định dạng Q4_0 tiêu chuẩn có thể làm giảm mạnh độ chính xác. Thử nghiệm với mô hình 26B cho thấy cách chuyển đổi thô sơ chỉ đạt 70.2% độ chính xác top-1, nhưng khi áp dụng phương pháp tối ưu hóa động (Unsloth Dynamic), con số này được đẩy lên 85.6%.
Lời khuyên thực tế là hãy ưu tiên sử dụng các điểm kiểm tra QAT-oriented chính thức (như compressed-tensors hoặc GGUF chính chủ từ Google) để bảo toàn tối đa chất lượng mà QAT mang lại .
Kết luận
Với việc phát hành các điểm kiểm tra QAT cho Gemma 4, Google đã xóa nhòa ranh giới giữa AI "phòng thí nghiệm" và AI "trong túi bạn". Từ chiếc điện thoại Android với 1GB RAM cho đến máy trạm RTX 4090 mạnh mẽ, giờ đây sức mạnh của các mô hình ngôn ngữ lớn nhất đã thực sự được dân chủ hóa. Kỷ nguyên AI riêng tư, ngoại tuyến và cá nhân hóa sâu sắc đã chính thức bắt đầu.
