ByteDance Perkenalkan SeedRealtime: AI Pertama yang Boleh Tengok, Dengar dan Bercakap Serentak

Bagaimana SeedRealtime Berbeza dengan Asisten Suara Tradisional

Asisten suara tradisional beroperasi sebagai saluran paip bertingkat: audio melalui ASR (pertuturan-ke-teks), teks melalui model penglihatan jika perlu, kemudian melalui LLM, dan akhirnya melalui TTS (teks-ke-pertuturan). Setiap pertukaran menambah kependaman, dan konteks hilang di setiap sempadan .

SeedRealtime menggantikan saluran paip ini dengan empat kelebihan utama:

• Seni bina hujung-ke-hujung bersatu — gabungan asli audio, video dan teks menghapuskan kelewatan berbilang modul dan kehilangan maklumat
• Pemahaman bersama audio-visual — model boleh menyelesaikan kekaburan homofon dengan menggunakan konteks visual (cth., membezakan "tulis" daripada "kanan" berdasarkan apa yang dilihatnya) dan memahami rujukan temporal dalam video dengan tepat
• Interaksi proaktif — sentiasa merasakan persekitarannya dan boleh memberi amaran secara proaktif kepada pengguna apabila pemandangan berubah (cth., objek sasaran muncul) dan memanggil alat luaran
• Masa perbualan semula jadi — merasakan keadaan perbualan dan rentak pengguna dalam masa nyata, campur tangan, berhenti seketika dan bertindak balas pada masa yang sesuai, dengan ketahanan yang tinggi terhadap bunyi latar belakang dan celoteh orang sekeliling

Cabaran Teknikal yang Diselesaikan: Irama Perbualan

Masalah paling sukar yang diselesaikan SeedRealtime ialah "bila hendak bercakap, bila hendak mendengar" dalam aliran multimodal yang berterusan. Asisten berasaskan giliran (half-duplex) tradisional menunggu tempoh senyap sebelum bertindak balas — yang bermaksud mereka sama ada mengganggu atau duduk diam .

Seni bina full-duplex SeedRealtime membolehkannya:

• Merasakan keadaan perbualan dan rentak pengguna dalam masa nyata
• Membezakan jeda yang disengajakan daripada keraguan
• Mengabaikan celoteh orang sekeliling dan bunyi latar belakang untuk mengelakkan pencetus palsu
• Menghasilkan isyarat belakang dan gangguan pada masa yang sesuai seperti manusia

Penilaian manusia hujung-ke-hujung menunjukkan bahawa berbanding model bertingkat, masalah irama dialog audio-video SeedRealtime berkurang separuh. Isu seperti "diganggu sebelum selesai, tindak balas tertangguh selepas bercakap, atau dicetuskan palsu oleh bunyi latar belakang" menurun dengan ketara, manakala kebarangkalian dialog tunggal yang lengkap dan lancar meningkat dengan ketara .

Bagaimana SeedRealtime Membina Seeduplex

SeedRealtime ialah evolusi multimodal bagi kerja full-duplex awal ByteDance. Seeduplex dilancarkan pada 9 April 2026 sebagai LLM full-duplex pertuturan sahaja asli pertama ByteDance — ia boleh mendengar dan bercakap serentak, melangkaui paradigma half-duplex sebelumnya .

SeedRealtime mengambil kejayaan teras Seeduplex — pemprosesan full-duplex hujung-ke-hujung asli — dan melanjutkannya untuk menggabungkan pemahaman visual masa nyata, membolehkan model bertindak balas terhadap apa yang dilihatnya selain apa yang didengarinya .

Di mana SeedRealtime Digunakan

SeedRealtime telah digunakan sepenuhnya dalam aplikasi Doubao (豆包) — pembantu AI ByteDance — dan tersedia kepada semua pengguna. Pengguna mengemas kini Doubao ke versi terkini dan memasuki antara muka panggilan video melalui ciri "panggilan telefon" untuk mengalami interaksi AI audio-video masa nyata .

ByteDance telah menunjukkan pelbagai kes penggunaan: mengenal pasti orang yang berbeza dalam perbualan kumpulan dan menjejaki siapa yang bercakap; membantu pelancong asing memahami menu Cina dan penerangan pelayan dalam masa nyata; memerhati pameran muzium secara berterusan dan memberi amaran secara proaktif apabila artifak tertentu muncul; membimbing pengguna mengendalikan mesin kopi dan membetulkan kesilapan berdasarkan perubahan visual; memantau pembalikan halaman semasa membaca kertas dan secara automatik menggesa apabila bab sasaran muncul .

Portfolio AI ByteDance yang Lebih Luas pada 2026

SeedRealtime adalah sebahagian daripada rentak pelancaran AI ByteDance yang semakin pantas. Pasukan Seed telah menghantar pelbagai model dari pertengahan 2025 hingga pertengahan 2026:

Model-model ini, bersama-sama dengan Seeduplex (9 April 2026), membentuk ekosistem AI penuh timbunan ByteDance merangkumi penjanaan bahasa, imej, video, audio dan interaksi multimodal masa nyata .