Mengapa AI Multimodal Native Penting bagi Agen Coding

Kesenjangan yang makin terlihat di antara model AI terdepan bukan lagi sekadar soal apakah sebuah model dapat menerima gambar. Pertanyaan yang lebih penting adalah: apakah bukti visual diperlakukan sebagai bagian inti dari proses bernalar agen?

Bagi agen coding, perbedaannya sangat praktis. Agen idealnya dapat membangun halaman, melihat hasil render, mengenali apa yang keliru, lalu memperbaiki kode tanpa harus mengubah setiap pengamatan visual menjadi laporan teks di tengah proses.

Moonshot AI memosisikan Kimi K3 sebagai model agen multimodal native untuk coding jangka panjang, pekerjaan berbasis pengetahuan, pemahaman visual, dan penalaran. Alibaba menyatakan pemahaman visual Qwen3.8-Max digunakan pada tahap perencanaan, eksekusi, hingga verifikasi. 1735

Dua pendekatan: tekstual lebih dulu atau visual di dalam loop

Model umum yang berfokus pada teks tetap sangat berguna untuk membuat kode, menganalisis konteks panjang, memanggil alat, dan mengerjakan tugas yang masukan maupun kriteria keberhasilannya sudah dapat dijelaskan dengan teks.

Dalam arsitektur berbasis alat, agen dapat memanggil OCR untuk membaca tulisan pada gambar, memeriksa DOM atau accessibility tree, meminta koordinat elemen, atau mengirim tangkapan layar ke model visi-bahasa terpisah. Pendekatan ini masuk akal untuk ekstraksi dokumen, pemeriksaan UI yang terstruktur, atau pertanyaan visual satu kali.

Multimodal native mengambil taruhan berbeda: teks, gambar, video, kode, dan status agen ditangani secara terpadu sehingga informasi visual dapat langsung memengaruhi rencana serta revisi. Pelaporan mengenai pasar model AI Tiongkok menggambarkan Moonshot, Alibaba, dan ByteDance bergerak ke arah ini, sementara rilis model umum DeepSeek, Zhipu, dan Hunyuan pada saat itu relatif lebih berpusat pada teks. 15

Namun, pembagian ini tidak boleh dibaca sebagai posisi permanen tiap perusahaan. DeepSeek V4 Flash dan V4 Pro awalnya hanya mendukung teks, tetapi DeepSeek kemudian memperkenalkan DeepSeek-V4-Flash-Vision-Exp yang masih bersifat eksperimental. 134 Jajaran model berubah cepat, dan sumber yang tersedia tidak cukup untuk menyimpulkan alasan internal setiap laboratorium AI—terutama ByteDance, Zhipu, dan Tencent.

Apa yang berubah ketika visi masuk ke dalam loop

Sebuah halaman web bukan hanya kumpulan kata dan struktur DOM. Ada hierarki, ruang kosong, perataan, kontras, tipografi, elemen yang terpotong, gambar, serta hubungan visual antarelemen. Saat agen diminta meniru desain acuan, detail seperti inilah yang sering menjadi ukuran keberhasilan sebenarnya.

Alur kerja agen dengan visi di dalam loop dapat berjalan seperti ini:

1. Merencanakan: Memahami permintaan, gambar referensi, basis kode, dan status tugas sebelumnya.
2. Bertindak: Menulis atau mengubah kode, mengoperasikan browser atau aplikasi, maupun menyunting aset visual.
3. Mengamati: Merender hasil dan memeriksa tangkapan layar, bingkai video, atau keluaran visual lain.
4. Memverifikasi dan merevisi: Membandingkan hasil dengan target, mencari dugaan sumber masalah, memperbaiki artefak dasarnya, lalu mengulang proses.

Qwen3.8-Max secara eksplisit menjelaskan model loop tertutup ini: pemahaman visual native digunakan pada perencanaan, eksekusi, dan verifikasi untuk pekerjaan berdurasi panjang. Model yang di-host mendukung masukan gambar, teks, serta video, dengan keluaran teks. 35 Kimi K3 juga memahami teks, gambar, dan video dalam satu model serta mendukung konteks hingga 1 juta token. 25

Keunggulannya bukan semata-mata karena model "bisa melihat". Agen yang sama dapat mempertahankan permintaan awal, kode, hasil visual, dan rencana yang terus berkembang dalam konteks yang sama saat melakukan iterasi.

Mengapa serah-terima ke OCR atau VLM eksternal bisa membatasi

Alat persepsi eksternal sering kali efektif, tetapi menciptakan batas antarmuka antara proses melihat dan bertindak.

OCR bersifat selektif. OCR dapat mengambil teks yang terlihat, tetapi ekstraksi teks saja tidak selalu menunjukkan bahwa tombol terpotong, tata letak terasa timpang, modal menutupi konten, atau hirarki visual tidak sesuai dengan referensi.

Koordinat terstruktur, tetapi cakupannya sempit. Laporan seperti "elemen berada di x/y" berguna untuk otomasi. Namun, laporan itu belum tentu menjelaskan apakah elemen tersebut cukup menonjol secara visual, bertumpuk dengan objek lain, memiliki gaya yang tepat, atau bahkan merupakan objek yang benar.

Penerjemahan berulang dapat memperumit rantai tugas panjang. Dalam alur multi-langkah, setiap proses pengubahan tangkapan layar menjadi deskripsi atau koordinat berpotensi menghilangkan konteks. Agen kemudian mungkin harus menyusun ulang konteks tersebut sebelum memperbaiki kode. Perbaikan yang didasarkan pada deskripsi tidak lengkap juga dapat menimbulkan masalah visual baru dan memaksa siklus pemeriksaan berikutnya.

Model multimodal native tidak menghilangkan kesalahan. Namun, model ini dapat menalar atas tangkapan layar dan konteks implementasi secara bersamaan, alih-alih hanya bergantung pada ringkasan tekstual tentang isi gambar. Inilah daya tarik utamanya untuk pengembangan front-end, otomasi GUI, penelusuran masalah regresi visual, penyuntingan gambar, dan alur kerja video.

Kimi K3 menunjukkan kasus penggunaan, bukan bukti sebab-akibat

Hasil publik Kimi K3 membantu menjelaskan mengapa pengembang mulai memberi perhatian besar pada pendekatan ini. Arena melaporkan Kimi K3 berada di posisi teratas Frontend Code Arena dengan 1.679 poin, naik 17 peringkat dari Kimi K2.6. Model ini juga menempati posisi pertama pada enam dari tujuh domain front-end yang terdaftar. 32

Secara terpisah, pelaporan mengenai pengujian Puter menyebut Kimi K3 mampu menemukan lima perbedaan visual yang sengaja ditanamkan antara laman target dan versi hasil render, tanpa positif palsu. 28

Kedua contoh tersebut merupakan demonstrasi penting untuk verifikasi visual. Akan tetapi, keduanya tidak membuktikan bahwa visi native sendirilah penyebab tunggal hasil tersebut. Skala model, data pelatihan, pelatihan lanjutan, desain prompt, perangkat browser, kerangka agen, dan bentuk benchmark semuanya dapat memengaruhi kinerja.

Kesimpulan yang lebih hati-hati adalah bahwa umpan balik visual menjawab kelas kegagalan nyata yang dapat lolos dari pengujian berbasis teks saja.

Kapan multimodal native layak diprioritaskan?

Pilih agen multimodal native ketika tugas menuntut pengamatan dan revisi berulang, serta kesetiaan visual merupakan bagian dari definisi selesai:

• mencocokkan halaman web atau aplikasi dengan desain referensi;
• memperbaiki kondisi GUI yang rusak;
• memeriksa tata letak responsif dan regresi visual;
• menyunting gambar sambil menjaga subjek, komposisi, atau batasan gaya;
• meninjau video panjang ketika kesinambungan antaradegan penting.

Sementara itu, pipeline OCR atau VLM eksternal yang modular masih dapat menjadi pilihan lebih tepat untuk ekstraksi berbiaya rendah, pemrosesan batch, atau alur kerja yang hanya membutuhkan teks terstruktur dan status UI.

Keputusan utamanya bukan apakah visi sedang menjadi tren. Pertanyaan yang menentukan adalah: apakah agen harus berulang kali memastikan bahwa hasilnya benar-benar terlihat tepat?

Untuk pekerjaan seperti itu, multimodal native mengubah persepsi dari panggilan alat sesekali menjadi bagian dari loop operasional agen—arah yang secara eksplisit ditempuh Kimi K3 dan Qwen3.8-Max. 1735