ทำไม AI แบบมัลติโหมดเนทีฟจึงสำคัญต่อเอเจนต์เขียนโค้ด

ช่องว่างสำคัญระหว่างโมเดลระดับแนวหน้าในเวลานี้ ไม่ได้อยู่แค่ว่าโมเดล “รับภาพได้หรือไม่” แต่อยู่ที่ว่า หลักฐานจากภาพถูกนำมาเป็นส่วนแกนกลางของวงจรคิดและลงมือทำของเอเจนต์หรือเปล่า

Moonshot AI วางตำแหน่ง Kimi K3 ให้เป็นโมเดลเอเจนต์แบบมัลติโหมดเนทีฟ สำหรับงานเขียนโค้ดระยะยาว งานความรู้ การเข้าใจภาพ และการให้เหตุผล ส่วน Alibaba ระบุว่า Qwen3.8-Max นำความเข้าใจภาพไปใช้ตลอดกระบวนการวางแผน การปฏิบัติงาน และการตรวจสอบ 1735 เป้าหมายเชิงปฏิบัตินั้นตรงไปตรงมา: ให้เอเจนต์สร้างงาน ดูผลที่เรนเดอร์ออกมา หาให้เจอว่าผิดตรงไหน แล้วแก้ให้ดีขึ้นได้ โดยไม่ต้องแปลงทุกสิ่งที่เห็นเป็นรายงานข้อความขั้นกลางก่อนเสมอไป

จุดแยกเชิงกลยุทธ์: เก่งข้อความ กับมองเห็นแล้วแก้ได้ในลูปเดียว

โมเดลทั่วไปที่เน้นข้อความยังมีประโยชน์มากสำหรับการสร้างโค้ด วิเคราะห์บริบทขนาดยาว เรียกใช้เครื่องมือ และงานที่ทั้งข้อมูลนำเข้าและเกณฑ์ความสำเร็จถูกระบุไว้เป็นข้อความอยู่แล้ว ในสถาปัตยกรรมแบบใช้เครื่องมือ เอเจนต์อาจเรียก OCR เพื่ออ่านข้อความ ตรวจ DOM หรือ accessibility tree ขอพิกัดองค์ประกอบ หรือส่งภาพหน้าจอไปให้โมเดลภาพ-ภาษาแยกต่างหากวิเคราะห์ วิธีนี้เหมาะสมได้สำหรับการดึงข้อมูลจากเอกสาร การตรวจ UI แบบมีโครงสร้าง หรือการถามคำถามเกี่ยวกับภาพเพียงครั้งเดียว

แต่การฝึกแบบมัลติโหมดเนทีฟเดิมพันกับแนวทางอีกแบบหนึ่ง คือให้ข้อความ ภาพ วิดีโอ โค้ด และสถานะของเอเจนต์ทำงานร่วมกัน เพื่อให้ข้อมูลภาพมีผลต่อการวางแผนและการปรับแก้โดยตรง รายงานเกี่ยวกับตลาดโมเดลจีนเคยอธิบายว่า Moonshot, Alibaba และ ByteDance กำลังมุ่งไปในทิศทางนี้ ขณะที่รุ่นใช้งานทั่วไปของ DeepSeek, Zhipu และ Hunyuan ในช่วงเวลานั้นมีลักษณะเน้นข้อความมากกว่า 15

อย่างไรก็ดี ไม่ควรตีความว่าเป็นเส้นแบ่งถาวรระหว่างบริษัท DeepSeek V4 Flash และ V4 Pro เริ่มต้นด้วยการรองรับข้อความเท่านั้น แต่ต่อมา DeepSeek ได้เปิดตัวโมเดลทดลอง DeepSeek-V4-Flash-Vision-Exp 134 รายชื่อโมเดลเปลี่ยนเร็ว และแหล่งข้อมูลที่มีไม่ได้ยืนยันเหตุผลภายในของแต่ละห้องปฏิบัติการอย่างเด็ดขาด โดยเฉพาะ ByteDance, Zhipu และ Tencent

“Vision in the loop” เปลี่ยนอะไรบ้าง

เว็บเพจไม่ได้มีแค่คำกับโครงสร้าง DOM แต่ยังมีลำดับชั้นของเนื้อหา พื้นที่ว่าง การจัดแนว คอนทราสต์ ฟอนต์ การถูกตัดขอบ ภาพประกอบ และความสัมพันธ์ระหว่างองค์ประกอบ สำหรับเอเจนต์ที่ได้รับโจทย์ให้ทำเว็บตามดีไซน์อ้างอิง รายละเอียดเหล่านี้มักเป็นเกณฑ์การรับงานที่แท้จริง

เวิร์กโฟลว์ที่ให้ภาพอยู่ในวงจรของเอเจนต์อาจเป็นดังนี้

1. วางแผน: ตีความโจทย์ ภาพอ้างอิง โค้ดเบส และสถานะจากขั้นก่อนหน้า
2. ลงมือทำ: เขียนหรือแก้โค้ด ใช้งานเบราว์เซอร์หรือแอป และแก้ชิ้นงานภาพ
3. สังเกตผล: เรนเดอร์ผลลัพธ์ แล้วตรวจภาพหน้าจอ เฟรมวิดีโอ หรือเอาต์พุตเชิงภาพอื่น
4. ตรวจสอบและปรับแก้: เทียบกับผลที่ต้องการ ระบุจุดบกพร่องที่เป็นไปได้ แก้ที่ต้นทาง แล้วทำซ้ำ

Qwen3.8-Max อธิบายแนวทางวงปิดนี้อย่างชัดเจน โดยใช้ความเข้าใจภาพแบบเนทีฟในขั้นวางแผน ปฏิบัติงาน และตรวจสอบสำหรับงานระยะยาว โมเดลที่ให้บริการรองรับอินพุตภาพ ข้อความ และวิดีโอ แต่ส่งออกเป็นข้อความ 35 ด้าน Kimi K3 ก็รองรับความเข้าใจข้อความ ภาพ และวิดีโอในโมเดลเดียว พร้อมหน้าต่างบริบท 1 ล้านโทเค็น 25

ข้อได้เปรียบจึงไม่ใช่แค่ “โมเดลมองเห็น” แต่คือเอเจนต์ตัวเดียวสามารถเก็บโจทย์ โค้ด ผลลัพธ์ที่มองเห็น และแผนที่กำลังปรับเปลี่ยนไว้ร่วมกันระหว่างการวนแก้งาน

เหตุใดการส่งต่อให้ OCR หรือ VLM ภายนอกจึงอาจมีข้อจำกัด

เครื่องมือรับรู้ภายนอกยังใช้ได้ผลดีในหลายกรณี แต่สิ่งเหล่านี้สร้างรอยต่อระหว่างการมองเห็นกับการลงมือทำ

OCR เลือกเก็บข้อมูลได้จำกัด OCR ดึงคำที่มองเห็นออกมาได้ แต่ข้อความอย่างเดียวไม่อธิบายครบว่าปุ่มถูกตัดขอบหรือไม่ เลย์เอาต์เสียสมดุลหรือเปล่า หน้าต่างโมดัลบังเนื้อหาหรือไม่ หรือภาพรวมของลำดับชั้นต่างจากแบบอ้างอิงแค่ไหน

พิกัดมีโครงสร้าง แต่บอกภาพรวมได้แคบ รายงานว่าองค์ประกอบอยู่ที่พิกัด x/y มีประโยชน์ต่อระบบอัตโนมัติ แต่ไม่ได้สื่อเสมอไปว่าองค์ประกอบนั้นเด่นทางสายตาหรือไม่ สไตล์ถูกต้องหรือไม่ ซ้อนทับสิ่งอื่นหรือเปล่า หรือเป็นวัตถุที่ต้องการจริงหรือไม่

การแปลข้อมูลซ้ำ ๆ ทำให้ห่วงโซ่งานยาวซับซ้อนขึ้น ทุกครั้งที่เปลี่ยนภาพหน้าจอเป็นคำบรรยายหรือพิกัด เอเจนต์อาจสูญเสียบริบท หรือต้องประกอบความเข้าใจกลับขึ้นมาใหม่ หากแก้โค้ดจากคำอธิบายที่ไม่ครบ ก็อาจสร้างปัญหาทางภาพจุดใหม่และต้องวนกลับไปตรวจอีกครั้ง

โมเดลมัลติโหมดเนทีฟไม่ได้ทำให้ความผิดพลาดหายไป แต่สามารถให้เหตุผลกับภาพหน้าจอและบริบทการพัฒนาไปพร้อมกัน แทนที่จะพึ่งเพียงสรุปข้อความว่าในภาพมีอะไรอยู่ นี่คือจุดดึงดูดหลักสำหรับงานฟรอนต์เอนด์ ระบบอัตโนมัติบน GUI การดีบัก visual regression การแต่งภาพ และเวิร์กโฟลว์วิดีโอ

Kimi K3 เป็นหลักฐานของกรณีใช้งาน ไม่ใช่ข้อพิสูจน์เชิงเหตุและผล

ผลลัพธ์สาธารณะของ Kimi K3 ช่วยให้เห็นว่าทำไมนักพัฒนาจึงจับตาความสามารถลักษณะนี้ Arena รายงานว่า Kimi K3 ขึ้นอันดับ 1 ใน Frontend Code Arena ด้วย 1,679 คะแนน เพิ่มขึ้น 17 อันดับจาก Kimi K2.6 และครองอันดับ 1 ใน 6 จาก 7 หมวดงานฟรอนต์เอนด์ที่ระบุไว้ 32 อีกกรณีหนึ่งคือรายงานการทดสอบของ Puter ซึ่งจงใจใส่ความคลาดเคลื่อนทางภาพ 5 จุดลงในเว็บไซต์ และ Kimi K3 ตรวจพบได้ครบโดยไม่มีผลบวกลวง 28

ทั้งสองกรณีเป็นตัวอย่างที่มีนัยสำคัญของการตรวจสอบด้วยภาพ แต่ยังไม่ได้พิสูจน์ว่าวิสัยทัศน์แบบเนทีฟเพียงปัจจัยเดียวทำให้ได้ผลเช่นนั้น ขนาดโมเดล ข้อมูลฝึก การปรับแต่งหลังการฝึก การออกแบบพรอมป์ต์ เครื่องมือเบราว์เซอร์ โครงเอเจนต์ และตัวเบนช์มาร์กเอง ล้วนส่งผลต่อผลงานได้ ข้อสรุปที่รอบคอบกว่าคือ ฟีดแบ็กภาพช่วยจัดการกับความล้มเหลวบางประเภทที่การทดสอบแบบข้อความอย่างเดียวอาจมองไม่เห็น

เมื่อใดควรให้ความสำคัญกับมัลติโหมดเนทีฟ

เอเจนต์มัลติโหมดเนทีฟเหมาะเมื่อภารกิจต้องสังเกตและปรับแก้หลายรอบ และความเที่ยงตรงทางภาพเป็นส่วนหนึ่งของคำว่า “เสร็จงาน” เช่น

• ทำเว็บหรือแอปให้ตรงกับดีไซน์อ้างอิง
• ซ่อมสถานะ GUI ที่ผิดพลาด
• ตรวจเลย์เอาต์แบบ responsive และความถดถอยของภาพหลังแก้โค้ด
• แต่งภาพโดยคงตัวแบบ องค์ประกอบ หรือเงื่อนไขด้านสไตล์
• ตรวจวิดีโอขนาดยาวที่ต้องรักษาความต่อเนื่องระดับฉาก

ในทางกลับกัน ระบบที่ใช้ OCR หรือ VLM ภายนอกแบบแยกส่วนอาจเหมาะกว่าในงานดึงข้อมูลต้นทุนต่ำ งานประมวลผลเป็นชุด หรือเวิร์กโฟลว์ที่ต้องการเพียงข้อความและสถานะ UI ที่มีโครงสร้าง คำถามสำคัญจึงไม่ใช่ว่าวิสัยทัศน์เป็นกระแสหรือไม่ แต่คือเอเจนต์ต้องตอบคำถามเดิมซ้ำ ๆ หรือเปล่าว่า: ผลลัพธ์นี้ดูถูกต้องจริงไหม?

สำหรับงานกลุ่มนี้ มัลติโหมดเนทีฟเปลี่ยนการรับรู้ภาพจากการเรียกใช้เครื่องมือเป็นครั้งคราว ให้กลายเป็นส่วนหนึ่งของวงจรการทำงานของเอเจนต์ ซึ่งเป็นทิศทางที่ Kimi K3 และ Qwen3.8-Max ระบุว่ากำลังเดินหน้าอยู่ 1735