코딩 에이전트에 네이티브 멀티모달 AI가 중요한 이유

이미지를 받을 수 있느냐보다 더 중요한 차이가 생기고 있다. 시각 정보가 에이전트의 추론·행동·검증 과정에서 일급 정보로 다뤄지느냐다.

Moonshot AI의 Kimi K3는 장기 코딩, 지식 작업, 시각 이해, 추론을 겨냥한 네이티브 멀티모달 에이전트 모델로 소개된다. 알리바바의 Qwen3.8-Max는 시각 이해가 계획, 실행, 검증 전 과정에서 작동한다고 설명한다. 1735 목표는 명확하다. 에이전트가 무언가를 만들고, 결과 화면을 직접 확인하고, 어긋난 부분을 찾아 고친 뒤 다시 확인하게 하는 것이다. 이때 화면 관찰을 매번 텍스트 보고서로 축약하지 않는 것이 핵심이다.

텍스트 우선 모델과 네이티브 멀티모달의 갈림길

텍스트 중심 범용 모델도 코드 생성, 긴 문맥 분석, 도구 호출, 입력과 성공 조건이 텍스트로 정리된 작업에는 매우 유용하다. 일반적인 도구 조합에서는 에이전트가 OCR을 호출하거나, DOM·접근성 트리를 읽고, 좌표 정보를 요청하거나, 스크린샷을 별도 비전 언어 모델(VLM)에 넘길 수 있다. 문서 추출, 구조화된 UI 점검, 한 번의 시각 질의에는 합리적인 설계일 수 있다.

반면 네이티브 멀티모달 학습은 텍스트·이미지·영상·코드·에이전트 상태를 함께 다뤄, 시각 정보가 계획과 수정에 직접 영향을 미치게 하려는 접근이다. 중국 AI 모델 시장을 다룬 보도는 Moonshot, 알리바바, ByteDance가 이 방향을 추구하는 반면 당시 DeepSeek, Zhipu, Tencent Hunyuan의 범용 출시 모델은 상대적으로 텍스트 중심이었다고 설명했다. 15

다만 이를 기업 간의 영구적인 진영 구도로 볼 필요는 없다. DeepSeek V4 Flash와 V4 Pro는 처음에는 텍스트만 지원했지만, 이후 DeepSeek은 실험적 모델인 DeepSeek-V4-Flash-Vision-Exp를 내놓았다. 134 모델 라인업은 빠르게 바뀌며, 특히 ByteDance·Zhipu·Tencent의 경우 각 연구소가 왜 특정 선택을 했는지에 관한 확정적 내부 근거는 제공된 자료만으로 확인되지 않는다.

‘비전 인 더 루프’가 바꾸는 것

웹페이지는 글자와 DOM 구조만으로 이뤄지지 않는다. 정보 위계, 여백, 정렬, 대비, 서체, 잘림 현상, 이미지, 요소 간 관계도 모두 결과물의 일부다. 레퍼런스 디자인을 재현하는 작업에서는 이런 시각적 요소가 사실상 완료 기준이 된다.

시각 피드백을 작업 루프에 넣으면 흐름은 다음과 같다.

1. 계획: 요청, 레퍼런스 이미지, 코드베이스, 이전 작업 상태를 해석한다.
2. 실행: 코드를 작성·수정하거나, 브라우저·애플리케이션을 조작하거나, 시각 자산을 편집한다.
3. 관찰: 결과를 렌더링하고 스크린샷, 영상 프레임 등 시각 출력물을 점검한다.
4. 검증·수정: 요청한 결과와 비교해 결함의 원인을 추정하고, 실제 산출물을 고친 뒤 반복한다.

Qwen3.8-Max는 장기 작업에서 네이티브 시각 이해를 계획·실행·검증에 걸쳐 사용하고, 닫힌 루프 안에서 반복 개선한다고 명시한다. 이 호스팅 모델은 이미지·텍스트·영상 입력과 텍스트 출력을 지원한다. 35 Kimi K3 역시 하나의 모델 안에서 텍스트·이미지·영상을 이해하며, 컨텍스트 창은 100만 토큰이다. 25

장점은 단순히 ‘모델이 볼 수 있다’는 데 있지 않다. 요청 사항, 코드, 시각적 결과, 변화하는 작업 계획을 같은 에이전트 맥락 안에서 함께 유지하며 반복 작업할 수 있다는 데 있다.

OCR·외부 VLM 연결이 갖는 한계

외부 인식 도구는 여전히 효과적이지만, ‘보기’와 ‘행동하기’ 사이에 인터페이스 경계를 만든다.

OCR은 선택적으로만 정보를 남긴다. 화면의 문구는 추출할 수 있지만, 버튼이 잘렸는지, 레이아웃 균형이 무너졌는지, 모달이 콘텐츠를 가리는지, 시각적 위계가 레퍼런스와 다른지는 텍스트만으로 충분히 전달되지 않는다.

좌표는 구조화돼 있지만 범위가 좁다. ‘요소가 x/y 좌표에 있다’는 정보는 자동화에 유용하다. 하지만 그 요소가 시각적으로 중요한지, 스타일·겹침 상태가 어떤지, 또는 화면에서 올바른 대상인지까지 항상 말해 주지는 않는다.

장기 작업에서는 반복 변환의 비용이 커진다. 스크린샷을 설명문이나 좌표로 바꾸는 단계가 매 반복마다 들어가면 맥락이 빠지거나 다시 구성해야 할 수 있다. 불완전한 설명에 기반한 수정은 또 다른 시각적 문제를 만들고, 다시 관찰하는 순환을 부를 수 있다.

네이티브 멀티모달 모델도 오류를 없애지는 못한다. 다만 스크린샷에 대한 텍스트 요약에만 의존하지 않고, 화면과 구현 맥락을 함께 놓고 추론할 수 있다. 그래서 프런트엔드 개발, GUI 자동화, 시각 회귀 버그 점검, 이미지 편집, 영상 작업에서 특히 주목받는다.

Kimi K3의 성과는 활용 가능성을 보여주지만, 인과관계를 증명하진 않는다

Kimi K3의 공개 성과는 개발자들이 왜 관심을 보이는지 보여준다. Arena는 Kimi K3가 Frontend Code Arena에서 1,679점으로 1위에 올랐으며, Kimi K2.6 대비 17계단 상승했다고 밝혔다. 7개 프런트엔드 분야 가운데 6개에서 1위를 기록했다. 32

별도로 Puter의 테스트를 다룬 보도에 따르면, Kimi K3는 목표 웹페이지와 렌더링 결과를 비교해 의도적으로 심어 둔 시각적 차이 5개를 오탐 없이 찾아냈다. 28

이는 시각 검증의 의미 있는 사례다. 그러나 이 결과만으로 네이티브 비전 기능 하나가 성과의 원인이었다고 단정할 수는 없다. 모델 규모, 학습 데이터, 사후학습, 프롬프트 설계, 브라우저 도구, 에이전트 프레임워크, 벤치마크 구성 모두 성능에 영향을 줄 수 있다. 더 신중한 결론은 이렇다. 시각 피드백은 텍스트 전용 테스트가 놓칠 수 있는 실제 실패 유형을 포착한다.

언제 네이티브 멀티모달을 우선해야 할까

작업이 반복 관찰과 수정을 요구하고, 시각적 완성도가 ‘완료’의 조건이라면 네이티브 멀티모달 에이전트를 우선 검토할 만하다.

• 웹페이지나 앱을 레퍼런스 디자인에 맞춰 구현할 때
• 깨진 GUI 상태를 복구할 때
• 반응형 레이아웃과 시각 회귀를 점검할 때
• 인물·구도·스타일 제약을 지키며 이미지를 편집할 때
• 장면 간 연속성이 중요한 긴 영상을 검토할 때

반대로 저비용 텍스트 추출, 대량 배치 처리, 구조화된 텍스트와 UI 상태만 필요한 흐름이라면 OCR 또는 외부 VLM 파이프라인이 더 적합할 수 있다. 판단 기준은 ‘비전이 유행인가’가 아니다. 에이전트가 반복해서 다음 질문에 답해야 하는가다.

“이 결과물이 실제로 보기에도 맞는가?”

그 질문이 작업의 본질이라면, 네이티브 멀티모달은 인식을 가끔 호출하는 도구에서 에이전트 운영 루프의 일부로 바꾼다. Kimi K3와 Qwen3.8-Max는 바로 이 방향을 명시적으로 추구하고 있다. 1735