字節跳動 SeedRealtime 登場：首款能同時「看、聽、說」的 AI 模型

SeedRealtime 與傳統語音助理的差異

傳統語音助理的運作方式像一條**「流水線」**：音訊先經過 ASR（語音轉文字），文字再傳給視覺模型（如果需要），然後透過大型語言模型（LLM）處理，最後再由 TTS（文字轉語音）轉回聲音。每一次的「交接」都會增加延遲，而且每次模組切換都會流失部分上下文資訊。

SeedRealtime 以四大關鍵優勢取代了這條流水線：

• 統一的端到端架構：原生融合音訊、視訊與文字，消除多模組延遲與資訊遺失
• 音視訊聯合理解：模型能利用視覺場景資訊來解決同音字歧義（例如，根據看到的畫面區分「寫」和「右」），並準確理解影片中的時間指涉
• 主動式互動：持續感知環境，能在場景發生變化（例如關鍵目標出現）時主動提醒使用者，並能呼叫外部工具
• 自然的對話節奏：即時感知使用者的對話狀態與節奏，在適當的時機接話、停頓與回應，並對背景噪音與旁人的閒聊有很高的強韌性

解決的技術難題：對話節奏

SeedRealtime 解決的最核心問題，是在連續的多模態資訊流中**「何時該說話、何時該聆聽」**。傳統的「輪流說話」（半雙工）助理會等待一段靜默後才回應——結果不是打斷使用者，就是呆坐不語。

SeedRealtime 的全雙工架構讓它能夠：

• 即時感知使用者的對話狀態與節奏
• 區分使用者是刻意停頓還是猶豫
• 忽略旁人的閒聊與背景噪音，避免誤觸發
• 在最接近人類互動的時機點，發出「嗯、喔」等回應或打斷

端到端人工評測結果顯示，與級聯模型相比，SeedRealtime 的音視訊對話節奏問題減少了一半。「話未說完就被打斷、說完話卻回應遲緩、或被背景雜音誤觸發」等卡殼現象大幅減少，而能完成一次完整、流暢單次對話的機率則顯著提升。

SeedRealtime 如何奠基於 Seeduplex

SeedRealtime 是字節跳動早期全雙工研究的多模態進化版。Seeduplex 於 2026 年 4 月 9 日 推出，是字節跳動首個原生全雙工且僅限語音的大型語言模型——它能同時聽和說，擺脫了過往「半雙工」的互動模式。

SeedRealtime 繼承了 Seeduplex 的核心突破——原生端到端全雙工處理——並將其擴展至即時視覺理解，讓模型不僅能根據聽到的內容，也能根據看到的畫面做出反應。

SeedRealtime 的部署現況

SeedRealtime 已全面部署於字節跳動的 AI 助理應用程式「豆包」（Doubao），並開放給所有使用者。使用者只需將豆包更新至最新版本，並透過「打電話」功能進入視訊通話介面，即可體驗即時的音視訊 AI 互動。

字節跳動展示了多種應用場景：在多人聚會中辨識不同人物並持續追蹤發言者；幫助外國遊客即時理解中文菜單與服務員的解說；在博物館中持續觀察展品，並在指定文物出現時主動提醒；引導使用者操作咖啡機，並根據畫面變化即時糾正錯誤；在閱讀論文時監控翻頁，並在指定章節出現時自動提示。

字節跳動 2026 年的 AI 產品組合

SeedRealtime 是字節跳動加速發布 AI 模型的其中一環。Seed 團隊在 2025 年中至 2026 年中發布了多款模型：

這些模型，連同 Seeduplex（2026 年 4 月 9 日），共同構成了字節跳動涵蓋語言、圖像、影片、音訊生成以及即時多模態互動的全方位 AI 生態系統。