ByteDance SeedRealtime: AI ตัวแรกที่ดู ฟัง และพูดพร้อมกัน

SeedRealtime แตกต่างจากผู้ช่วยเสียงแบบเดิมอย่างไร?

ผู้ช่วยเสียงแบบดั้งเดิมทำงานเป็น ระบบทอดต่อ (cascaded pipeline) เสียงเข้า → ผ่าน ASR แปลงเป็นข้อความ → ข้อความเข้า Vision Model (ถ้าต้องการภาพ) → ผ่าน LLM → ข้อความออก → TTS แปลงเป็นเสียง การส่งต่อแต่ละขั้นตอนทำให้เกิดความหน่วง และบริบทก็หายไปตามรอยต่อ

SeedRealtime เข้ามาเปลี่ยนระบบนี้ด้วยข้อได้เปรียบสำคัญสี่ประการ:

• สถาปัตยกรรมแบบ end-to-end รวมศูนย์ — การผสานเสียง ภาพ และข้อความแบบเนทีฟช่วยลดความหน่วงและการสูญเสียข้อมูลที่เกิดจากหลายโมดูล
• ความเข้าใจร่วมระหว่างภาพและเสียง — โมเดลใช้บริบทของภาพที่เห็นเพื่อแก้ความกำกวมของคำพ้องเสียง (เช่น แยกแยะ "เขียน" กับ "ขวา" จากสิ่งที่เห็น) และเข้าใจคำอ้างอิงเชิงเวลาจากวิดีโอได้อย่างแม่นยำ
• การโต้ตอบเชิงรุก — SeedRealtime รับรู้สภาพแวดล้อมรอบตัวอย่างต่อเนื่อง และสามารถแจ้งเตือนผู้ใช้เองเมื่อสิ่งที่เฝ้าดูเปลี่ยนไป (เช่น วัตถุเป้าหมายปรากฏขึ้น) รวมถึงเรียกใช้เครื่องมือภายนอกได้
• จังหวะการสนทนาที่เป็นธรรมชาติ — โมเดลสัมผัสสถานะการสนทนาของผู้ใช้และจังหวะการพูดได้แบบเรียลไทม์ รู้ว่าเมื่อไหร่ควรแทรก หยุด หรือตอบกลับอย่างเหมาะสม พร้อมทนทานต่อเสียงรบกวนรอบข้างและการพูดคุยของคนอื่น

ปัญหาทางเทคนิคที่ถูกแก้: จังหวะการสนทนา

ปัญหาที่ยากที่สุดที่ SeedRealtime แก้ได้คือ "เมื่อไหร่ควรพูด เมื่อไหร่ควรฟัง" ในสตรีมข้อมูลต่อเนื่องแบบมัลติโมดัล ผู้ช่วยแบบ half-duplex (ผลัดกันพูด) แบบเดิมจะรอให้เงียบก่อนถึงตอบ ซึ่งทำให้มันอาจจะแทรกขณะที่ผู้ใช้ยังพูด หรือไม่ก็เงียบเกินไป

สถาปัตยกรรมแบบ full-duplex ของ SeedRealtime ช่วยให้มันสามารถ:

• สัมผัสสถานะและจังหวะการสนทนาของผู้ใช้แบบเรียลไทม์
• แยกแยะระหว่างการหยุดคิดของผู้ใช้กับการลังเล
• ไม่ตื่นตูมกับเสียงคนคุยข้างๆ หรือเสียงรบกวนพื้นหลัง
• ส่งสัญญาณรับรู้และแทรกได้ถูกจังหวะแบบมนุษย์

ผลการประเมินด้วยมนุษย์แบบ end-to-end ชี้ว่า เมื่อเทียบกับระบบ cascaded ปัญหาจังหวะการสนทนาแบบภาพและเสียงของ SeedRealtime ลดลงครึ่งหนึ่ง ปัญหาอย่าง "พูดยังไม่ทันจบก็ถูกขัด" "พูดจบแล้วก็ยังเงียบ" หรือ "ถูกเสียงรบกวนข้างๆ ทำให้ตอบผิดจังหวะ" ลดลงอย่างมาก ในขณะที่โอกาสที่การสนทนาครั้งเดียวจะราบรื่นและสมบูรณ์เพิ่มขึ้นอย่างเห็นได้ชัด

SeedRealtime ต่อยอดจาก Seeduplex อย่างไร?

SeedRealtime คือ วิวัฒนาการด้านมัลติโมดัล ของผลงาน full-duplex ก่อนหน้าของ ByteDance โดย Seeduplex เปิดตัวเมื่อ วันที่ 9 เมษายน 2026 ซึ่งเป็น LLM แบบ full-duplex เน้นเสียงล้วน ตัวแรกของ ByteDance — มันสามารถฟังและพูดไปพร้อมกัน ก้าวข้ามกระบวนทัศน์แบบ half-duplex เก่า

SeedRealtime นำนวัตกรรมหลักของ Seeduplex — การประมวลผลแบบ full-duplex end-to-end — มาต่อยอดโดยเพิ่ม ความเข้าใจภาพแบบเรียลไทม์ ทำให้โมเดลสามารถตอบสนองต่อสิ่งที่มัน เห็น นอกเหนือจากที่มัน ได้ยิน

SeedRealtime ไปอยู่แอปไหนแล้ว?

SeedRealtime ขึ้นเต็มรูปแบบในแอป Doubao (豆包) ซึ่งเป็น AI ผู้ช่วยของ ByteDance และเปิดให้ผู้ใช้ทุกคนใช้งานได้ทันที ผู้ใช้เพียงอัปเดต Doubao เป็นเวอร์ชันล่าสุด และเข้าไปที่ฟีเจอร์วิดีโอคอลผ่านปุ่ม "โทรศัพท์" เพื่อสัมผัสประสบการณ์ AI แบบโต้ตอบภาพและเสียงแบบเรียลไทม์

ByteDance สาธิตการใช้งานหลากหลาย เช่น :

• ระบุตัวบุคคลต่างๆ ในวงสนทนากลุ่ม และติดตามว่าคนไหนกำลังพูดอยู่
• ช่วยนักท่องเที่ยวต่างชาติเข้าใจเมนูอาหารจีนและคำอธิบายของพนักงานเสิร์ฟแบบเรียลไทม์
• คอยสังเกตนิทรรศการในพิพิธภัณฑ์และแจ้งเตือนเมื่อวัตถุที่ต้องการปรากฏ
• แนะนำผู้ใช้ในการใช้งานเครื่องชงกาแฟและแก้ไขข้อผิดพลาดตามการเปลี่ยนแปลงของภาพที่เห็น
• ติดตามการพลิกหน้ากระดาษขณะอ่านบทความและแจ้งเตือนอัตโนมัติเมื่อถึงบทที่ต้องการ

พอร์ตโฟลิโอ AI ที่ขยายตัวอย่างรวดเร็วของ ByteDance ในปี 2026

SeedRealtime เป็นเพียงส่วนหนึ่งของจังหวะการปล่อยโมเดล AI ที่เร่งขึ้นของ ByteDance โดยทีม Seed ได้ส่งโมเดลหลายตัวออกมาตั้งแต่กลางปี 2025 จนถึงกลางปี 2026:

โมเดลเหล่านี้ร่วมกับ Seeduplex (9 เม.ย. 2026) รวมกันเป็น ระบบนิเวศ AI แบบ full-stack ของ ByteDance ที่ครอบคลุมทั้งภาษา ภาพ วิดีโอ เสียง และการโต้ตอบมัลติโมดัลแบบเรียลไทม์