Apa maksud seni bina “encoder-free”?

Model multimodal tradisional biasanya menggunakan saluran pemprosesan berperingkat. Encoder penglihatan — lazimnya dengan sekitar 150 juta hingga 550 juta parameter — menukar cebisan imej kepada perwakilan yang boleh difahami oleh model bahasa. Encoder audio yang berasingan pula menganalisis isyarat bunyi sebelum hasilnya dihantar kepada LLM.

Gemma 4 12B membuang kedua-dua peringkat perantara ini dan menyatukan pemprosesan dalam teras LLM . Ia menggunakan modul unjuran yang lebih ringan untuk memetakan input mentah ke ruang embedding model:

• Imej: Embedder berukuran 35 juta parameter menggantikan vision transformer 27 lapisan. Cebisan imej mentah berukuran 48×48 piksel dipetakan ke dimensi tersembunyi LLM melalui pendaraban matriks. Maklumat kedudukan pula ditambah menggunakan carian koordinat terfaktor dengan matriks X dan Y yang berasingan .
• Audio: Isyarat audio mentah pada kadar 16 kHz dibahagikan kepada bingkai 40 milisaat, setiap satunya mengandungi 640 nilai titik terapung. Bingkai tersebut kemudian diunjurkan secara linear ke ruang input LLM, tanpa 12 lapisan conformer yang digunakan oleh beberapa varian Gemma 4 lain .
• Penalaan halus: Oleh sebab input teks, imej dan audio berkongsi berat teras LLM serta dikendalikan oleh unjuran linear, model boleh ditala secara menyeluruh dalam satu aliran menggunakan rangka kerja seperti Hugging Face Transformers atau Unsloth. Kaedah LoRA dan penalaan semua berat turut disokong .

Hasilnya ialah model dengan konteks sehingga 256K token yang boleh menerima teks, imej, audio dan video secara natif, tanpa menunggu beberapa peringkat encoder selesai memproses input .

Skor penanda aras: kecil pada saiz, besar pada prestasi

Menurut kad model rasmi Google, Gemma 4 12B Unified bukan sekadar bersaing dengan model dalam kelas saiznya. Dalam beberapa ujian, ia mengatasi Gemma 3 27B yang mempunyai lebih dua kali ganda parameter .

Angka 78.8% dalam GPQA Diamond amat menonjol kerana ujian ini mengukur pengetahuan sains pada tahap siswazah. Ia mewakili peningkatan 36.4 mata peratusan berbanding Gemma 3 27B. Dalam AIME 2026 pula, skor model baharu ini hampir empat kali ganda lebih tinggi .

Keputusan ini menunjukkan bahawa penghapusan timbunan encoder tidak semestinya mengorbankan keupayaan model. Dalam kes Gemma 4 12B, pendekatan tersebut nampaknya membantu memudahkan pelaksanaan AI multimodal tanpa menjejaskan prestasi dalam ujian yang sukar.

Lesen terbuka dan sokongan ekosistem sejak hari pertama

Gemma 4 12B tersedia sebagai model berwajaran terbuka di bawah lesen Apache 2.0, dalam versi pra-latihan dan versi yang ditala mengikut arahan . Lesen ini membolehkan pembangun menggunakannya dalam pelbagai projek komersial dan bukan komersial, tertakluk pada syarat lesen berkenaan.

Model ini juga direka untuk beroperasi dalam lingkungan sekitar 16GB VRAM atau memori bersatu, menjadikannya lebih praktikal untuk komputer pengguna biasa berbanding model besar yang memerlukan pelayan khusus .

Sokongan awal yang tersedia merangkumi:

• llama.cpp: Versi terkuantum GGUF tersedia untuk inferens CPU dan GPU yang lebih cekap .
• Ollama: Menawarkan pengalaman penggunaan yang ringkas melalui satu arahan pada macOS dan Linux, dengan sokongan versi 0.20 atau lebih baharu .
• LM Studio: Menyediakan antara muka desktop untuk mencari, memuat turun dan menjalankan model secara tempatan .
• MLX: Menyokong cip Apple Silicon dan memanfaatkan seni bina memori bersatu peranti Mac .
• vLLM: Sesuai untuk penyajian berkapasiti tinggi melalui GPU dan TPU .
• Unsloth: Menyediakan model kuantum yang dioptimumkan serta ciri penalaan halus melalui Unsloth Studio pada macOS, Windows dan Linux .

Sokongan merentas alat ini penting kerana pengguna tidak perlu menunggu lama untuk menjalankan model dalam aliran kerja sedia ada — sama ada untuk eksperimen di komputer peribadi, membina aplikasi atau menyediakan perkhidmatan inferens.

Gemma Chat: ejen pengekodan desktop tanpa awan

Bersama kemunculan model baharu itu, aplikasi desktop sumber terbuka Gemma Chat memberikan contoh praktikal penggunaan AI multimodal secara tempatan. Aplikasi berasaskan Electron ini dibangunkan oleh pereka Google, Ammar Reshi, dan dilesenkan di bawah MIT .

Gemma Chat menjalankan model Gemma 4 sepenuhnya pada peranti Apple Silicon melalui rangka kerja MLX. Selepas model dimuat turun, pengguna tidak memerlukan kunci API, perkhidmatan awan atau sambungan internet untuk terus menggunakannya.

Ciri utamanya ialah Build Mode, iaitu mod ejen pengekodan. Pengguna hanya menerangkan idea dalam bahasa biasa, kemudian model menjana HTML, CSS dan JavaScript untuk projek yang mengandungi beberapa fail. Kod tersebut dipaparkan secara berperingkat dalam panel pratonton langsung supaya perubahan boleh dilihat ketika model sedang menjana output.

Aplikasi itu turut menyokong input suara dan menggunakan arahan berformat XML untuk panggilan alat berstruktur. Pendekatan XML dilaporkan lebih boleh dipercayai berbanding JSON untuk kelas model kecil yang perlu mengendalikan kandungan kompleks .

Gemma Chat pada asalnya dilancarkan sekitar April 2026 untuk varian Gemma 4 lain. Dengan keluaran Gemma 4 12B, aplikasi yang sama kini boleh menjalankan model Unified encoder-free tersebut secara tempatan melalui MLX, sekali gus menawarkan persekitaran pembangunan yang lebih berorientasikan privasi dan boleh digunakan tanpa talian untuk prototaip serta pembelajaran .

Mengapa keluaran ini penting?

Gemma 4 12B tidak sekadar menawarkan model yang lebih kecil. Ia membawa pendekatan berbeza terhadap AI multimodal: kurangkan komponen perantara, satukan input dalam satu teras model dan edarkan sokongan alat kepada ekosistem tempatan sejak hari pertama.

Bagi pembangun, ini bermakna lebih banyak ruang untuk bereksperimen tanpa kos API atau pergantungan berterusan pada awan. Bagi pengguna Mac Apple Silicon, Gemma Chat pula menunjukkan bagaimana model terbuka boleh digunakan untuk menjana kod, menerima arahan suara dan membina prototaip terus daripada komputer sendiri.

Apa maksud seni bina “encoder-free”?

Model multimodal tradisional biasanya menggunakan saluran pemprosesan berperingkat. Encoder penglihatan — lazimnya dengan sekitar 150 juta hingga 550 juta parameter — menukar cebisan imej kepada perwakilan yang boleh difahami oleh model bahasa. Encoder audio yang berasingan pula menganalisis isyarat bunyi sebelum hasilnya dihantar kepada LLM.

Gemma 4 12B membuang kedua-dua peringkat perantara ini dan menyatukan pemprosesan dalam teras LLM . Ia menggunakan modul unjuran yang lebih ringan untuk memetakan input mentah ke ruang embedding model:

• Imej: Embedder berukuran 35 juta parameter menggantikan vision transformer 27 lapisan. Cebisan imej mentah berukuran 48×48 piksel dipetakan ke dimensi tersembunyi LLM melalui pendaraban matriks. Maklumat kedudukan pula ditambah menggunakan carian koordinat terfaktor dengan matriks X dan Y yang berasingan .
• Audio: Isyarat audio mentah pada kadar 16 kHz dibahagikan kepada bingkai 40 milisaat, setiap satunya mengandungi 640 nilai titik terapung. Bingkai tersebut kemudian diunjurkan secara linear ke ruang input LLM, tanpa 12 lapisan conformer yang digunakan oleh beberapa varian Gemma 4 lain .
• Penalaan halus: Oleh sebab input teks, imej dan audio berkongsi berat teras LLM serta dikendalikan oleh unjuran linear, model boleh ditala secara menyeluruh dalam satu aliran menggunakan rangka kerja seperti Hugging Face Transformers atau Unsloth. Kaedah LoRA dan penalaan semua berat turut disokong .

Hasilnya ialah model dengan konteks sehingga 256K token yang boleh menerima teks, imej, audio dan video secara natif, tanpa menunggu beberapa peringkat encoder selesai memproses input .

Skor penanda aras: kecil pada saiz, besar pada prestasi

Menurut kad model rasmi Google, Gemma 4 12B Unified bukan sekadar bersaing dengan model dalam kelas saiznya. Dalam beberapa ujian, ia mengatasi Gemma 3 27B yang mempunyai lebih dua kali ganda parameter .

Angka 78.8% dalam GPQA Diamond amat menonjol kerana ujian ini mengukur pengetahuan sains pada tahap siswazah. Ia mewakili peningkatan 36.4 mata peratusan berbanding Gemma 3 27B. Dalam AIME 2026 pula, skor model baharu ini hampir empat kali ganda lebih tinggi .

Keputusan ini menunjukkan bahawa penghapusan timbunan encoder tidak semestinya mengorbankan keupayaan model. Dalam kes Gemma 4 12B, pendekatan tersebut nampaknya membantu memudahkan pelaksanaan AI multimodal tanpa menjejaskan prestasi dalam ujian yang sukar.

Lesen terbuka dan sokongan ekosistem sejak hari pertama

Gemma 4 12B tersedia sebagai model berwajaran terbuka di bawah lesen Apache 2.0, dalam versi pra-latihan dan versi yang ditala mengikut arahan . Lesen ini membolehkan pembangun menggunakannya dalam pelbagai projek komersial dan bukan komersial, tertakluk pada syarat lesen berkenaan.

Model ini juga direka untuk beroperasi dalam lingkungan sekitar 16GB VRAM atau memori bersatu, menjadikannya lebih praktikal untuk komputer pengguna biasa berbanding model besar yang memerlukan pelayan khusus .

Sokongan awal yang tersedia merangkumi:

• llama.cpp: Versi terkuantum GGUF tersedia untuk inferens CPU dan GPU yang lebih cekap .
• Ollama: Menawarkan pengalaman penggunaan yang ringkas melalui satu arahan pada macOS dan Linux, dengan sokongan versi 0.20 atau lebih baharu .
• LM Studio: Menyediakan antara muka desktop untuk mencari, memuat turun dan menjalankan model secara tempatan .
• MLX: Menyokong cip Apple Silicon dan memanfaatkan seni bina memori bersatu peranti Mac .
• vLLM: Sesuai untuk penyajian berkapasiti tinggi melalui GPU dan TPU .
• Unsloth: Menyediakan model kuantum yang dioptimumkan serta ciri penalaan halus melalui Unsloth Studio pada macOS, Windows dan Linux .

Sokongan merentas alat ini penting kerana pengguna tidak perlu menunggu lama untuk menjalankan model dalam aliran kerja sedia ada — sama ada untuk eksperimen di komputer peribadi, membina aplikasi atau menyediakan perkhidmatan inferens.

Gemma Chat: ejen pengekodan desktop tanpa awan

Bersama kemunculan model baharu itu, aplikasi desktop sumber terbuka Gemma Chat memberikan contoh praktikal penggunaan AI multimodal secara tempatan. Aplikasi berasaskan Electron ini dibangunkan oleh pereka Google, Ammar Reshi, dan dilesenkan di bawah MIT .

Gemma Chat menjalankan model Gemma 4 sepenuhnya pada peranti Apple Silicon melalui rangka kerja MLX. Selepas model dimuat turun, pengguna tidak memerlukan kunci API, perkhidmatan awan atau sambungan internet untuk terus menggunakannya.

Ciri utamanya ialah Build Mode, iaitu mod ejen pengekodan. Pengguna hanya menerangkan idea dalam bahasa biasa, kemudian model menjana HTML, CSS dan JavaScript untuk projek yang mengandungi beberapa fail. Kod tersebut dipaparkan secara berperingkat dalam panel pratonton langsung supaya perubahan boleh dilihat ketika model sedang menjana output.

Aplikasi itu turut menyokong input suara dan menggunakan arahan berformat XML untuk panggilan alat berstruktur. Pendekatan XML dilaporkan lebih boleh dipercayai berbanding JSON untuk kelas model kecil yang perlu mengendalikan kandungan kompleks .

Gemma Chat pada asalnya dilancarkan sekitar April 2026 untuk varian Gemma 4 lain. Dengan keluaran Gemma 4 12B, aplikasi yang sama kini boleh menjalankan model Unified encoder-free tersebut secara tempatan melalui MLX, sekali gus menawarkan persekitaran pembangunan yang lebih berorientasikan privasi dan boleh digunakan tanpa talian untuk prototaip serta pembelajaran .

Mengapa keluaran ini penting?

Gemma 4 12B tidak sekadar menawarkan model yang lebih kecil. Ia membawa pendekatan berbeza terhadap AI multimodal: kurangkan komponen perantara, satukan input dalam satu teras model dan edarkan sokongan alat kepada ekosistem tempatan sejak hari pertama.

Bagi pembangun, ini bermakna lebih banyak ruang untuk bereksperimen tanpa kos API atau pergantungan berterusan pada awan. Bagi pengguna Mac Apple Silicon, Gemma Chat pula menunjukkan bagaimana model terbuka boleh digunakan untuk menjana kod, menerima arahan suara dan membina prototaip terus daripada komputer sendiri.