구글 딥마인드, 별도 비전·오디오 인코더를 제거한 '젬마 4 12B' 공개…단일 디코더 트랜스포머가 모든 모달리티 직접 처리 12B 파라미터 모델, MMLU Pro 77.2%, GPQA Diamond 78.8% 기록…전작 대비 최대 36.4%p 향상, 16GB VRAM에서 로컬 구동 가능 Apache 2.0 라이선스로 출시, llama.cpp·Ollama·LM Studio 등 주요 추론 엔진에서 당일 지원…Gemma Chat 앱으로 오프라인 코딩 에이전트 활용 가능
구글 딥마인드, 별도 비전·오디오 인코더를 제거한 '젬마 4 12B' 공개…단일 디코더 트랜스포머가 모든 모달리티 직접 처리
12B 파라미터 모델, MMLU Pro 77.2%, GPQA Diamond 78.8% 기록…전작 대비 최대 36.4%p 향상, 16GB VRAM에서 로컬 구동 가능
Apache 2.0 라이선스로 출시, llama.cpp·Ollama·LM Studio 등 주요 추론 엔진에서 당일 지원…Gemma Chat 앱으로 오프라인 코딩 에이전트 활용 가능
What is Google DeepMind's newly released Gemma 4 12B open-source multimodal AI model, how does its encoder-free "Unified" architecture proceA conceptual visualization of Gemma 4 12B's unified, encoder-free architecture handling text, images, and audio.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: What is Google DeepMind's newly released Gemma 4 12B open-source multimodal AI model, how does its encoder-free "Unified" architecture proce. Article summary: Google DeepMind released **Gemma 4 12B** on June 3, 2026 — a dense, 12-billion-parameter open-source multimodal model under the **Apache 2.0 license**, built around an encoder-free "Unified" architecture designed to run . Topic tags: general, documentation, general web, user generated, academic. Reference image context from search candidates: Reference image 1: visual subject "[Skip to main content](https://www.mindstudio.ai/blog/what-is-gemma-4-google-apache-open-weight-model#main-content)[![Image 4: MindStudio](https://www.mindstudio.ai/MindStudio-lock" source context "What Is Gemma 4? Google's Apache 2.0 Open-Weight Model With ..." Reference image 2: visual
openai.com
2026년 6월 3일, 구글 딥마인드(Google DeepMind)가 120억 개(12B) 파라미터의 고밀도(Dense) 멀티모달 모델 '젬마 4 12B(Gemma 4 12B)'를 Apache 2.0 오픈소스 라이선스로 공개했습니다. 이 모델의 가장 큰 특징은 '인코더 프리(Encoder-Free)' 통합 아키텍처로, 기존 멀티모달 AI의 표준 설계 방식에서 과감히 벗어났습니다. 이미지와 오디오를 전처리하는 거대한 별도 신경망 없이, 원시 데이터(Raw Data)를 단일 디코더 전용 트랜스포머(Decoder-only Transformer)에 직접 주입합니다. 이 설계 덕분에 고급 추론, 비전, 오디오 작업을 16GB VRAM(또는 통합 메모리)을 갖춘 일반 소비자용 노트북에서 실행할 수 있습니다.
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
"구글 딥마인드 '젬마 4 12B' 공개: 인코더 없애고 멀티모달 AI를 노트북으로"에 대한 짧은 대답은 무엇입니까?
구글 딥마인드, 별도 비전·오디오 인코더를 제거한 '젬마 4 12B' 공개…단일 디코더 트랜스포머가 모든 모달리티 직접 처리
먼저 검증할 핵심 포인트는 무엇인가요?
구글 딥마인드, 별도 비전·오디오 인코더를 제거한 '젬마 4 12B' 공개…단일 디코더 트랜스포머가 모든 모달리티 직접 처리 12B 파라미터 모델, MMLU Pro 77.2%, GPQA Diamond 78.8% 기록…전작 대비 최대 36.4%p 향상, 16GB VRAM에서 로컬 구동 가능
실무에서는 다음으로 무엇을 해야 합니까?
Apache 2.0 라이선스로 출시, llama.cpp·Ollama·LM Studio 등 주요 추론 엔진에서 당일 지원…Gemma Chat 앱으로 오프라인 코딩 에이전트 활용 가능
구글 딥마인드, 별도 비전·오디오 인코더를 제거한 '젬마 4 12B' 공개…단일 디코더 트랜스포머가 모든 모달리티 직접 처리 12B 파라미터 모델, MMLU Pro 77.2%, GPQA Diamond 78.8% 기록…전작 대비 최대 36.4%p 향상, 16GB VRAM에서 로컬 구동 가능 Apache 2.0 라이선스로 출시, llama.cpp·Ollama·LM Studio 등 주요 추론 엔진에서 당일 지원…Gemma Chat 앱으로 오프라인 코딩 에이전트 활용 가능
구글 딥마인드, 별도 비전·오디오 인코더를 제거한 '젬마 4 12B' 공개…단일 디코더 트랜스포머가 모든 모달리티 직접 처리
12B 파라미터 모델, MMLU Pro 77.2%, GPQA Diamond 78.8% 기록…전작 대비 최대 36.4%p 향상, 16GB VRAM에서 로컬 구동 가능
Apache 2.0 라이선스로 출시, llama.cpp·Ollama·LM Studio 등 주요 추론 엔진에서 당일 지원…Gemma Chat 앱으로 오프라인 코딩 에이전트 활용 가능
What is Google DeepMind's newly released Gemma 4 12B open-source multimodal AI model, how does its encoder-free "Unified" architecture proceA conceptual visualization of Gemma 4 12B's unified, encoder-free architecture handling text, images, and audio.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: What is Google DeepMind's newly released Gemma 4 12B open-source multimodal AI model, how does its encoder-free "Unified" architecture proce. Article summary: Google DeepMind released **Gemma 4 12B** on June 3, 2026 — a dense, 12-billion-parameter open-source multimodal model under the **Apache 2.0 license**, built around an encoder-free "Unified" architecture designed to run . Topic tags: general, documentation, general web, user generated, academic. Reference image context from search candidates: Reference image 1: visual subject "[Skip to main content](https://www.mindstudio.ai/blog/what-is-gemma-4-google-apache-open-weight-model#main-content)[![Image 4: MindStudio](https://www.mindstudio.ai/MindStudio-lock" source context "What Is Gemma 4? Google's Apache 2.0 Open-Weight Model With ..." Reference image 2: visual
openai.com
2026년 6월 3일, 구글 딥마인드(Google DeepMind)가 120억 개(12B) 파라미터의 고밀도(Dense) 멀티모달 모델 '젬마 4 12B(Gemma 4 12B)'를 Apache 2.0 오픈소스 라이선스로 공개했습니다. 이 모델의 가장 큰 특징은 '인코더 프리(Encoder-Free)' 통합 아키텍처로, 기존 멀티모달 AI의 표준 설계 방식에서 과감히 벗어났습니다. 이미지와 오디오를 전처리하는 거대한 별도 신경망 없이, 원시 데이터(Raw Data)를 단일 디코더 전용 트랜스포머(Decoder-only Transformer)에 직접 주입합니다. 이 설계 덕분에 고급 추론, 비전, 오디오 작업을 16GB VRAM(또는 통합 메모리)을 갖춘 일반 소비자용 노트북에서 실행할 수 있습니다.
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
"구글 딥마인드 '젬마 4 12B' 공개: 인코더 없애고 멀티모달 AI를 노트북으로"에 대한 짧은 대답은 무엇입니까?
구글 딥마인드, 별도 비전·오디오 인코더를 제거한 '젬마 4 12B' 공개…단일 디코더 트랜스포머가 모든 모달리티 직접 처리
먼저 검증할 핵심 포인트는 무엇인가요?
구글 딥마인드, 별도 비전·오디오 인코더를 제거한 '젬마 4 12B' 공개…단일 디코더 트랜스포머가 모든 모달리티 직접 처리 12B 파라미터 모델, MMLU Pro 77.2%, GPQA Diamond 78.8% 기록…전작 대비 최대 36.4%p 향상, 16GB VRAM에서 로컬 구동 가능
실무에서는 다음으로 무엇을 해야 합니까?
Apache 2.0 라이선스로 출시, llama.cpp·Ollama·LM Studio 등 주요 추론 엔진에서 당일 지원…Gemma Chat 앱으로 오프라인 코딩 에이전트 활용 가능
전통적인 멀티모달 모델은 순차적 파이프라인을 사용합니다. 약 1억 5천만~5억 5천만 개의 파라미터를 가진 고정된 비전 인코더가 이미지 패치를 처리하고, 약 3억 개의 파라미터를 가진 별도의 오디오 인코더가 소리를 분석한 뒤, 그 결과를 LLM에 전달합니다. 젬마 4 12B는 이러한 중간 단계를 완전히 제거하고, 모든 처리를 LLM 백본(Backbone) 내에서 통합했습니다.
이 인코더 프리 접근법은 경량 투영(Projection)을 사용해 원시 입력을 LLM의 임베딩 공간으로 직접 매핑합니다:
비전(Vision): 27개 레이어로 구성된 비전 트랜스포머를 3,500만 개(35M) 파라미터의 작은 임베더(Embedder)로 대체했습니다. 48x48 픽셀의 원시 이미지 패치를 단순한 행렬 곱셈을 통해 LLM의 히든 차원(Hidden Dimension)에 매핑합니다. 위치 정보는 분해된 좌표 조회(Coordinate Lookup)를 통해 X, Y 행렬을 별도로 사용해 주입되므로, 이미지 패치를 위한 별도의 위치 임베딩 학습이 필요 없습니다.
오디오(Audio): 16kHz 원시 오디오 신호를 40밀리초 단위 프레임(640개의 부동소수점 값 포함)으로 나눈 뒤, 이를 선형 투영(Linear Projection)하여 LLM의 입력 공간으로 매핑합니다. 이는 다른 Gemma 4 변형에서 사용되는 12개의 컨포머(Conformer) 레이어를 완전히 우회합니다.
파인튜닝(Fine-tuning): 모든 모달리티 입력이 LLM의 코어 가중치를 공유하는 단순한 선형 투영으로 처리되므로, 전체 모델을 표준 프레임워크(Hugging Face Transformers, Unsloth 등)를 사용해 단일 통합 패스로 LoRA 또는 전체 가중치 파인튜닝할 수 있습니다.
그 결과, 256K 토큰 컨텍스트 윈도우를 가진 이 모델은 텍스트, 이미지, 오디오, 비디오를 다단계 인코더 파이프라인의 지연 시간과 아키텍처 복잡성 없이 기본적으로 처리합니다.
벤치마크 성능: 작은 모델, 큰 결과
구글의 공식 모델 카드에 문서화된 젬마 4 12B의 벤치마크 점수는 효율성에서 상당한 도약을 보여줍니다. 이 12B 모델은 같은 크기 계열의 모델과 경쟁할 뿐만 아니라, 더 큰 270억 개(27B) 파라미터 모델인 Gemma 3 27B를 다양한 난이도의 추론 및 멀티모달 테스트에서 크게 앞섰습니다.
벤치마크
Gemma 4 12B Unified
Gemma 3 27B (참고용)
MMLU Pro (다국어 질의응답)
77.2%
67.6%
GPQA Diamond (전문 과학)
78.8%
42.4%
AIME 2026 (경쟁 수학, 도구 미사용)
77.5%
20.8%
LiveCodeBench v6 (경쟁 코딩)
72.0%
29.1%
Vision MMMU Pro (멀티모달 추론)
69.1%
49.7%
GPQA Diamond(대학원 수준 과학 지식 테스트)에서의 78.8% 점수는 특히 인상적입니다. 이는 이전 세대 플래그십 모델 대비 36.4% 포인트나 증가한 수치입니다. AIME 2026 수학 점수 또한 거의 4배 향상되었습니다. 이러한 결과는 인코더 스택을 제거하는 것이 지능을 저하시키지 않았으며, 오히려 효율성을 높였음을 입증합니다.
출시, 라이선스 및 당일 에코시스템 지원
젬마 4 12B는 상업적으로 허용되는 Apache 2.0 라이선스로 사전 학습(Pre-trained) 및 명령어 튜닝(Instruction-tuned) 변형 모두 오픈 가중치 형태로 출시되었습니다. 실용적인 설계 목표는 16GB VRAM/통합 메모리 예산에 맞추는 것이며, 이는 일반 소비자용 노트북에서도 실제로 작동함을 의미합니다.
이 모델은 개발자 채택에 중요한 요소인 다양한 로컬 추론 엔진에서 즉시(day-zero) 지원을 받으며 출시되었습니다:
llama.cpp: GGUF 양자화(Quantized) 버전이 출시 당일 제공되어 효율적인 CPU 및 GPU 추론을 지원합니다.
Ollama (v0.20+): macOS 및 Linux에서 간단한 단일 명령어로 배포할 수 있는 환경을 제공합니다.
LM Studio: 로컬 모델을 탐색하고 실행하기 위한 사용하기 쉬운 데스크톱 UI입니다.
MLX: Apple Silicon 하드웨어를 위한 기본 지원으로, 통합 메모리 아키텍처를 활용합니다.
vLLM: 고처리량 GPU 및 TPU 서빙을 지원합니다.
Unsloth: 최적화된 정적 양자화 모델과 파인튜닝 기능을 오픈소스 Studio UI를 통해 제공하며, macOS, Windows, Linux를 지원합니다.
Gemma Chat: 전용 데스크톱 코딩 에이전트
모델 출시와 함께, 로컬 멀티모달 AI가 무엇을 할 수 있는지 보여주는 구체적이고 사용자 친화적인 데스크톱 애플리케이션인 **젬마 챗(Gemma Chat)**도 공개되었습니다. 구글 디자이너 Ammar Reshi가 개발했으며 MIT 라이선스로 배포되는 이 앱은 GitHub에서 확인할 수 있습니다.
젬마 챗은 Apple의 MLX 프레임워크를 통해 젬마 4 모델을 Apple Silicon에서 완전히 로컬로 실행합니다. 즉, 초기 다운로드 후에는 API 키, 클라우드 서비스 또는 인터넷 연결이 필요하지 않습니다. 가장 눈에 띄는 기능은 '빌드 모드(Build Mode)' 코딩 에이전트입니다. 이 모드에서 사용자가 일반 언어로 원하는 것을 설명하면, 모델이 HTML, CSS, JavaScript 코드를 생성하여 다중 파일 프로젝트를 만들고, 실시간 미리보기 창으로 결과를 스트리밍합니다. 또한 음성 입력을 지원하며, JSON보다 이 클래스의 모델에 더 안정적인 것으로 입증된 XML 프롬프팅을 사용하여 구조화된 도구 호출을 수행합니다.
약 2026년 4월경 다른 Gemma 4 변형들을 위해 처음 출시되었던 이 애플리케이션은 이제 새로운 인코더 프리 12B 모델도 실행할 수 있어, 프로토타이핑과 학습을 위한 완전한 오프라인, 로컬 우선 개발 환경을 제공합니다.
marktechpost.com
Google DeepMind Releases Gemma 4 12B: An Encoder-Free Multimodal Model with Native audio that runs on a 16 GB laptop
전통적인 멀티모달 모델은 순차적 파이프라인을 사용합니다. 약 1억 5천만~5억 5천만 개의 파라미터를 가진 고정된 비전 인코더가 이미지 패치를 처리하고, 약 3억 개의 파라미터를 가진 별도의 오디오 인코더가 소리를 분석한 뒤, 그 결과를 LLM에 전달합니다. 젬마 4 12B는 이러한 중간 단계를 완전히 제거하고, 모든 처리를 LLM 백본(Backbone) 내에서 통합했습니다.
이 인코더 프리 접근법은 경량 투영(Projection)을 사용해 원시 입력을 LLM의 임베딩 공간으로 직접 매핑합니다:
비전(Vision): 27개 레이어로 구성된 비전 트랜스포머를 3,500만 개(35M) 파라미터의 작은 임베더(Embedder)로 대체했습니다. 48x48 픽셀의 원시 이미지 패치를 단순한 행렬 곱셈을 통해 LLM의 히든 차원(Hidden Dimension)에 매핑합니다. 위치 정보는 분해된 좌표 조회(Coordinate Lookup)를 통해 X, Y 행렬을 별도로 사용해 주입되므로, 이미지 패치를 위한 별도의 위치 임베딩 학습이 필요 없습니다.
오디오(Audio): 16kHz 원시 오디오 신호를 40밀리초 단위 프레임(640개의 부동소수점 값 포함)으로 나눈 뒤, 이를 선형 투영(Linear Projection)하여 LLM의 입력 공간으로 매핑합니다. 이는 다른 Gemma 4 변형에서 사용되는 12개의 컨포머(Conformer) 레이어를 완전히 우회합니다.
파인튜닝(Fine-tuning): 모든 모달리티 입력이 LLM의 코어 가중치를 공유하는 단순한 선형 투영으로 처리되므로, 전체 모델을 표준 프레임워크(Hugging Face Transformers, Unsloth 등)를 사용해 단일 통합 패스로 LoRA 또는 전체 가중치 파인튜닝할 수 있습니다.
그 결과, 256K 토큰 컨텍스트 윈도우를 가진 이 모델은 텍스트, 이미지, 오디오, 비디오를 다단계 인코더 파이프라인의 지연 시간과 아키텍처 복잡성 없이 기본적으로 처리합니다.
벤치마크 성능: 작은 모델, 큰 결과
구글의 공식 모델 카드에 문서화된 젬마 4 12B의 벤치마크 점수는 효율성에서 상당한 도약을 보여줍니다. 이 12B 모델은 같은 크기 계열의 모델과 경쟁할 뿐만 아니라, 더 큰 270억 개(27B) 파라미터 모델인 Gemma 3 27B를 다양한 난이도의 추론 및 멀티모달 테스트에서 크게 앞섰습니다.
벤치마크
Gemma 4 12B Unified
Gemma 3 27B (참고용)
MMLU Pro (다국어 질의응답)
77.2%
67.6%
GPQA Diamond (전문 과학)
78.8%
42.4%
AIME 2026 (경쟁 수학, 도구 미사용)
77.5%
20.8%
LiveCodeBench v6 (경쟁 코딩)
72.0%
29.1%
Vision MMMU Pro (멀티모달 추론)
69.1%
49.7%
GPQA Diamond(대학원 수준 과학 지식 테스트)에서의 78.8% 점수는 특히 인상적입니다. 이는 이전 세대 플래그십 모델 대비 36.4% 포인트나 증가한 수치입니다. AIME 2026 수학 점수 또한 거의 4배 향상되었습니다. 이러한 결과는 인코더 스택을 제거하는 것이 지능을 저하시키지 않았으며, 오히려 효율성을 높였음을 입증합니다.
출시, 라이선스 및 당일 에코시스템 지원
젬마 4 12B는 상업적으로 허용되는 Apache 2.0 라이선스로 사전 학습(Pre-trained) 및 명령어 튜닝(Instruction-tuned) 변형 모두 오픈 가중치 형태로 출시되었습니다. 실용적인 설계 목표는 16GB VRAM/통합 메모리 예산에 맞추는 것이며, 이는 일반 소비자용 노트북에서도 실제로 작동함을 의미합니다.
이 모델은 개발자 채택에 중요한 요소인 다양한 로컬 추론 엔진에서 즉시(day-zero) 지원을 받으며 출시되었습니다:
llama.cpp: GGUF 양자화(Quantized) 버전이 출시 당일 제공되어 효율적인 CPU 및 GPU 추론을 지원합니다.
Ollama (v0.20+): macOS 및 Linux에서 간단한 단일 명령어로 배포할 수 있는 환경을 제공합니다.
LM Studio: 로컬 모델을 탐색하고 실행하기 위한 사용하기 쉬운 데스크톱 UI입니다.
MLX: Apple Silicon 하드웨어를 위한 기본 지원으로, 통합 메모리 아키텍처를 활용합니다.
vLLM: 고처리량 GPU 및 TPU 서빙을 지원합니다.
Unsloth: 최적화된 정적 양자화 모델과 파인튜닝 기능을 오픈소스 Studio UI를 통해 제공하며, macOS, Windows, Linux를 지원합니다.
Gemma Chat: 전용 데스크톱 코딩 에이전트
모델 출시와 함께, 로컬 멀티모달 AI가 무엇을 할 수 있는지 보여주는 구체적이고 사용자 친화적인 데스크톱 애플리케이션인 **젬마 챗(Gemma Chat)**도 공개되었습니다. 구글 디자이너 Ammar Reshi가 개발했으며 MIT 라이선스로 배포되는 이 앱은 GitHub에서 확인할 수 있습니다.
젬마 챗은 Apple의 MLX 프레임워크를 통해 젬마 4 모델을 Apple Silicon에서 완전히 로컬로 실행합니다. 즉, 초기 다운로드 후에는 API 키, 클라우드 서비스 또는 인터넷 연결이 필요하지 않습니다. 가장 눈에 띄는 기능은 '빌드 모드(Build Mode)' 코딩 에이전트입니다. 이 모드에서 사용자가 일반 언어로 원하는 것을 설명하면, 모델이 HTML, CSS, JavaScript 코드를 생성하여 다중 파일 프로젝트를 만들고, 실시간 미리보기 창으로 결과를 스트리밍합니다. 또한 음성 입력을 지원하며, JSON보다 이 클래스의 모델에 더 안정적인 것으로 입증된 XML 프롬프팅을 사용하여 구조화된 도구 호출을 수행합니다.
약 2026년 4월경 다른 Gemma 4 변형들을 위해 처음 출시되었던 이 애플리케이션은 이제 새로운 인코더 프리 12B 모델도 실행할 수 있어, 프로토타이핑과 학습을 위한 완전한 오프라인, 로컬 우선 개발 환경을 제공합니다.
marktechpost.com
Google DeepMind Releases Gemma 4 12B: An Encoder-Free Multimodal Model with Native audio that runs on a 16 GB laptop
