Bên trong Kiến trúc Hợp nhất Không Encoder

Các mô hình đa phương thức truyền thống sử dụng một đường ống tuần tự. Một bộ mã hóa thị giác đóng băng (frozen vision encoder) với khoảng 150 đến 550 triệu tham số xử lý các mảnh hình ảnh, và một bộ mã hóa âm thanh riêng, thường có khoảng 300 triệu tham số, phân tích âm thanh. Sau đó, LLM mới nhận được các biểu diễn đã được xử lý này. Gemma 4 12B loại bỏ hoàn toàn các giai đoạn trung gian này, thống nhất tất cả quá trình xử lý trong lõi LLM .

Phương pháp không encoder này sử dụng các phép chiếu nhẹ (lightweight projections) để ánh xạ đầu vào thô trực tiếp đến không gian nhúng (embedding space) của LLM:

• Đối với thị giác: Một bộ nhúng (embedder) nhỏ gọn chỉ 35 triệu tham số thay thế cho một bộ biến đổi thị giác 27 tầng hoàn chỉnh. Các mảnh hình ảnh thô 48x48 pixel được ánh xạ đến kích thước ẩn (hidden dimension) của LLM thông qua một phép nhân ma trận đơn giản. Thông tin vị trí được tiêm vào thông qua một tra cứu tọa độ phân tích thành nhân tử (factorized coordinate lookup) sử dụng các ma trận X và Y riêng biệt, loại bỏ nhu cầu về các phần nhúng vị trí (positional embeddings) đã được học cho các mảnh hình ảnh .
• Đối với âm thanh: Các tín hiệu âm thanh thô 16 kHz được chia thành các khung 40 mili-giây, mỗi khung chứa 640 giá trị dấu phẩy động. Các khung này được chiếu tuyến tính vào không gian đầu vào của LLM, bỏ qua 12 tầng conformer (conformer layers) có trong các biến thể Gemma 4 khác .
• Đối với tinh chỉnh: Vì tất cả đầu vào của các phương thức đều được xử lý bằng các phép chiếu tuyến tính đơn giản, chia sẻ cùng một trọng số lõi của LLM, toàn bộ mô hình có thể được tinh chỉnh trong một lần duy nhất, thống nhất, sử dụng các framework tiêu chuẩn như Hugging Face Transformers hoặc Unsloth, với hỗ trợ cho cả LoRA và tinh chỉnh toàn bộ trọng số .

Kết quả là một mô hình với ngữ cảnh lên đến 256K token có khả năng xử lý văn bản, hình ảnh, âm thanh và video một cách tự nhiên, mà không gặp phải độ trễ và độ phức tạp kiến trúc của một đường ống đa tầng encoder .

Hiệu năng Chuẩn: Mô hình Nhỏ, Kết quả Lớn

Điểm số chuẩn (benchmark) của Gemma 4 12B, được ghi lại trong thẻ mô hình chính thức của Google, cho thấy một bước nhảy vọt đáng kể về hiệu quả. Mô hình 12B không chỉ cạnh tranh với các mô hình cùng kích cỡ; nó còn vượt trội hơn hẳn mô hình Gemma 3 27B lớn hơn nhiều (27 tỷ tham số) trên một loạt các bài kiểm tra suy luận và đa phương thức khó .

Điểm số 78.8% trên GPQA Diamond, một bài kiểm tra kiến thức khoa học ở trình độ sau đại học, đặc biệt nổi bật—tăng 36,4 điểm phần trăm so với phiên bản tiền nhiệm. Điểm toán AIME 2026 cũng cho thấy sự cải thiện gần 4 lần. Những kết quả này chứng thực rằng việc loại bỏ các bộ encoder đã không làm ảnh hưởng đến trí thông minh của mô hình; ngược lại, nó dường như đã tinh gọn hóa quá trình .

Khả năng Sẵn có, Giấy phép và Hệ sinh thái Hỗ trợ Ngày Đầu

Gemma 4 12B được phát hành với trọng số mở (open weights) theo giấy phép cho phép thương mại Apache 2.0 ở cả hai biến thể: tiền huấn luyện (pre-trained) và tinh chỉnh hướng dẫn (instruction-tuned) . Mục tiêu thiết kế thực tế của nó là hoạt động vừa vặn trong giới hạn bộ nhớ 16GB VRAM / bộ nhớ hợp nhất, giúp nó thực sự hữu dụng trên các laptop tiêu dùng thông thường .

Mô hình được ra mắt với sự hỗ trợ ngay lập tức (day-zero) trên một hệ sinh thái rộng lớn các công cụ suy luận cục bộ, một yếu tố quan trọng cho việc áp dụng của các nhà phát triển :

• llama.cpp: Các phiên bản lượng tử hóa GGUF có sẵn ngay ngày đầu tiên để suy luận hiệu quả trên CPU và GPU .
• Ollama (v0.20+): Cung cấp trải nghiệm triển khai đơn giản chỉ với một lệnh cho macOS và Linux .
• LM Studio: Giao diện máy tính để bàn dễ sử dụng để khám phá và chạy các mô hình cục bộ .
• MLX: Hỗ trợ gốc cho phần cứng Apple Silicon, tận dụng kiến trúc bộ nhớ hợp nhất .
• vLLM: Sẵn sàng cho việc phục vụ GPU và TPU thông lượng cao .
• Unsloth: Cung cấp các phiên bản lượng tử hóa tĩnh được tối ưu hóa và khả năng tinh chỉnh thông qua giao diện Studio mã nguồn mở, hỗ trợ macOS, Windows và Linux .

Gemma Chat: Trợ lý Lập trình Máy tính để bàn Chuyên dụng

Cùng với việc phát hành mô hình, một ứng dụng máy tính để bàn mã nguồn mở riêng biệt có tên Gemma Chat cung cấp một minh họa cụ thể, thân thiện với người dùng về những gì AI đa phương thức cục bộ có thể làm được. Được xây dựng bởi nhà thiết kế Google Ammar Reshi và cấp phép theo MIT, đây là một ứng dụng dựa trên Electron, có sẵn trên GitHub .

Gemma Chat chạy các mô hình Gemma 4 hoàn toàn cục bộ trên Apple Silicon thông qua framework MLX, nghĩa là không cần khóa API, dịch vụ đám mây hay kết nối internet sau khi tải về lần đầu. Tính năng nổi bật của nó là "Build Mode" (Chế độ Xây dựng) - một tác nhân lập trình (coding agent). Ở chế độ này, người dùng mô tả những gì họ muốn bằng ngôn ngữ tự nhiên, và mô hình sẽ tạo ra mã HTML, CSS và JavaScript cho các dự án nhiều tệp, truyền trực tiếp kết quả đến một khung xem trước trực tiếp (live preview pane) trong thời gian thực. Ứng dụng cũng hỗ trợ nhập liệu bằng giọng nói (voice input) và sử dụng lời nhắc XML (XML prompting) cho các lệnh gọi công cụ có cấu trúc, phương pháp này đã được chứng minh là đáng tin cậy hơn JSON cho dòng mô hình này .

Ứng dụng, ban đầu được ra mắt vào khoảng tháng 4 năm 2026 cho các biến thể Gemma 4 khác, giờ đây có thể chạy mô hình 12B không encoder mới, mang đến một môi trường phát triển hoàn toàn ngoại tuyến, ưu tiên cục bộ cho việc tạo mẫu thử và học tập .

Bên trong Kiến trúc Hợp nhất Không Encoder

Các mô hình đa phương thức truyền thống sử dụng một đường ống tuần tự. Một bộ mã hóa thị giác đóng băng (frozen vision encoder) với khoảng 150 đến 550 triệu tham số xử lý các mảnh hình ảnh, và một bộ mã hóa âm thanh riêng, thường có khoảng 300 triệu tham số, phân tích âm thanh. Sau đó, LLM mới nhận được các biểu diễn đã được xử lý này. Gemma 4 12B loại bỏ hoàn toàn các giai đoạn trung gian này, thống nhất tất cả quá trình xử lý trong lõi LLM .

Phương pháp không encoder này sử dụng các phép chiếu nhẹ (lightweight projections) để ánh xạ đầu vào thô trực tiếp đến không gian nhúng (embedding space) của LLM:

• Đối với thị giác: Một bộ nhúng (embedder) nhỏ gọn chỉ 35 triệu tham số thay thế cho một bộ biến đổi thị giác 27 tầng hoàn chỉnh. Các mảnh hình ảnh thô 48x48 pixel được ánh xạ đến kích thước ẩn (hidden dimension) của LLM thông qua một phép nhân ma trận đơn giản. Thông tin vị trí được tiêm vào thông qua một tra cứu tọa độ phân tích thành nhân tử (factorized coordinate lookup) sử dụng các ma trận X và Y riêng biệt, loại bỏ nhu cầu về các phần nhúng vị trí (positional embeddings) đã được học cho các mảnh hình ảnh .
• Đối với âm thanh: Các tín hiệu âm thanh thô 16 kHz được chia thành các khung 40 mili-giây, mỗi khung chứa 640 giá trị dấu phẩy động. Các khung này được chiếu tuyến tính vào không gian đầu vào của LLM, bỏ qua 12 tầng conformer (conformer layers) có trong các biến thể Gemma 4 khác .
• Đối với tinh chỉnh: Vì tất cả đầu vào của các phương thức đều được xử lý bằng các phép chiếu tuyến tính đơn giản, chia sẻ cùng một trọng số lõi của LLM, toàn bộ mô hình có thể được tinh chỉnh trong một lần duy nhất, thống nhất, sử dụng các framework tiêu chuẩn như Hugging Face Transformers hoặc Unsloth, với hỗ trợ cho cả LoRA và tinh chỉnh toàn bộ trọng số .

Kết quả là một mô hình với ngữ cảnh lên đến 256K token có khả năng xử lý văn bản, hình ảnh, âm thanh và video một cách tự nhiên, mà không gặp phải độ trễ và độ phức tạp kiến trúc của một đường ống đa tầng encoder .

Hiệu năng Chuẩn: Mô hình Nhỏ, Kết quả Lớn

Điểm số chuẩn (benchmark) của Gemma 4 12B, được ghi lại trong thẻ mô hình chính thức của Google, cho thấy một bước nhảy vọt đáng kể về hiệu quả. Mô hình 12B không chỉ cạnh tranh với các mô hình cùng kích cỡ; nó còn vượt trội hơn hẳn mô hình Gemma 3 27B lớn hơn nhiều (27 tỷ tham số) trên một loạt các bài kiểm tra suy luận và đa phương thức khó .

Điểm số 78.8% trên GPQA Diamond, một bài kiểm tra kiến thức khoa học ở trình độ sau đại học, đặc biệt nổi bật—tăng 36,4 điểm phần trăm so với phiên bản tiền nhiệm. Điểm toán AIME 2026 cũng cho thấy sự cải thiện gần 4 lần. Những kết quả này chứng thực rằng việc loại bỏ các bộ encoder đã không làm ảnh hưởng đến trí thông minh của mô hình; ngược lại, nó dường như đã tinh gọn hóa quá trình .

Khả năng Sẵn có, Giấy phép và Hệ sinh thái Hỗ trợ Ngày Đầu

Gemma 4 12B được phát hành với trọng số mở (open weights) theo giấy phép cho phép thương mại Apache 2.0 ở cả hai biến thể: tiền huấn luyện (pre-trained) và tinh chỉnh hướng dẫn (instruction-tuned) . Mục tiêu thiết kế thực tế của nó là hoạt động vừa vặn trong giới hạn bộ nhớ 16GB VRAM / bộ nhớ hợp nhất, giúp nó thực sự hữu dụng trên các laptop tiêu dùng thông thường .

Mô hình được ra mắt với sự hỗ trợ ngay lập tức (day-zero) trên một hệ sinh thái rộng lớn các công cụ suy luận cục bộ, một yếu tố quan trọng cho việc áp dụng của các nhà phát triển :

• llama.cpp: Các phiên bản lượng tử hóa GGUF có sẵn ngay ngày đầu tiên để suy luận hiệu quả trên CPU và GPU .
• Ollama (v0.20+): Cung cấp trải nghiệm triển khai đơn giản chỉ với một lệnh cho macOS và Linux .
• LM Studio: Giao diện máy tính để bàn dễ sử dụng để khám phá và chạy các mô hình cục bộ .
• MLX: Hỗ trợ gốc cho phần cứng Apple Silicon, tận dụng kiến trúc bộ nhớ hợp nhất .
• vLLM: Sẵn sàng cho việc phục vụ GPU và TPU thông lượng cao .
• Unsloth: Cung cấp các phiên bản lượng tử hóa tĩnh được tối ưu hóa và khả năng tinh chỉnh thông qua giao diện Studio mã nguồn mở, hỗ trợ macOS, Windows và Linux .

Gemma Chat: Trợ lý Lập trình Máy tính để bàn Chuyên dụng

Cùng với việc phát hành mô hình, một ứng dụng máy tính để bàn mã nguồn mở riêng biệt có tên Gemma Chat cung cấp một minh họa cụ thể, thân thiện với người dùng về những gì AI đa phương thức cục bộ có thể làm được. Được xây dựng bởi nhà thiết kế Google Ammar Reshi và cấp phép theo MIT, đây là một ứng dụng dựa trên Electron, có sẵn trên GitHub .

Gemma Chat chạy các mô hình Gemma 4 hoàn toàn cục bộ trên Apple Silicon thông qua framework MLX, nghĩa là không cần khóa API, dịch vụ đám mây hay kết nối internet sau khi tải về lần đầu. Tính năng nổi bật của nó là "Build Mode" (Chế độ Xây dựng) - một tác nhân lập trình (coding agent). Ở chế độ này, người dùng mô tả những gì họ muốn bằng ngôn ngữ tự nhiên, và mô hình sẽ tạo ra mã HTML, CSS và JavaScript cho các dự án nhiều tệp, truyền trực tiếp kết quả đến một khung xem trước trực tiếp (live preview pane) trong thời gian thực. Ứng dụng cũng hỗ trợ nhập liệu bằng giọng nói (voice input) và sử dụng lời nhắc XML (XML prompting) cho các lệnh gọi công cụ có cấu trúc, phương pháp này đã được chứng minh là đáng tin cậy hơn JSON cho dòng mô hình này .

Ứng dụng, ban đầu được ra mắt vào khoảng tháng 4 năm 2026 cho các biến thể Gemma 4 khác, giờ đây có thể chạy mô hình 12B không encoder mới, mang đến một môi trường phát triển hoàn toàn ngoại tuyến, ưu tiên cục bộ cho việc tạo mẫu thử và học tập .