ByteDance SeedRealtime: la prima IA che guarda, ascolta e parla contemporaneamente

In cosa SeedRealtime è diverso dagli assistenti vocali tradizionali

Gli assistenti vocali tradizionali operano come una pipeline a cascata: l'audio passa attraverso un sistema ASR (riconoscimento vocale), il testo attraversa un modello di visione se necessario, poi un LLM e infine un sistema TTS (sintesi vocale). Ogni passaggio aggiunge latenza e il contesto si perde a ogni confine .

SeedRealtime sostituisce questa pipeline con quattro vantaggi chiave:

• Architettura unificata end-to-end: la fusione nativa di audio, video e testo elimina i ritardi e la perdita di informazioni dovuti ai moduli separati
• Comprensione congiunta audio-video: il modello può risolvere ambiguità di omofoni utilizzando il contesto visivo (ad esempio, distinguere "scrivere" da "destra" in base a ciò che vede) e comprendere riferimenti temporali nei video
• Interazione proattiva: percepisce continuamente l'ambiente circostante e può avvisare proattivamente l'utente quando la scena cambia (ad esempio, quando appare un oggetto target) e chiamare strumenti esterni
• Tempo di conversazione naturale: percepisce lo stato e il ritmo della conversazione dell'utente in tempo reale, intervenendo, facendo pause e rispondendo al momento giusto, con elevata robustezza al rumore di fondo e alle chiacchiere di altri

La sfida tecnica risolta: il ritmo della conversazione

Il problema più difficile che SeedRealtime ha risolto è "quando parlare, quando ascoltare" in un flusso multimodale continuo. I tradizionali assistenti half-duplex aspettano un periodo di silenzio prima di rispondere, il che significa che o interrompono o restano in silenzio .

L'architettura full-duplex di SeedRealtime gli consente di:

• Percepire lo stato e il ritmo della conversazione dell'utente in tempo reale
• Distinguere le pause intenzionali dalle esitazioni
• Ignorare le chiacchiere di altri e il rumore di fondo per evitare falsi inneschi
• Produrre segnali di feedback e interruzioni in momenti appropriati come farebbe un umano

I risultati della valutazione umana end-to-end mostrano che, rispetto ai modelli a cascata, i problemi di ritmo del dialogo audio-video di SeedRealtime sono stati ridotti della metà. Problemi come "essere interrotti prima di finire, risposte ritardate dopo aver parlato o falsi inneschi dovuti a rumore di fondo" sono diminuiti significativamente, mentre la probabilità di un dialogo singolo completo e fluido è aumentata notevolmente .

Come SeedRealtime si basa su Seeduplex

SeedRealtime è l'evoluzione multimodale del precedente lavoro full-duplex di ByteDance. Seeduplex è stato lanciato il 9 aprile 2026 come primo LLM full-duplex nativo solo vocale di ByteDance: poteva ascoltare e parlare simultaneamente, superando il precedente paradigma half-duplex .

SeedRealtime prende la scoperta fondamentale di Seeduplex (elaborazione nativa end-to-end full-duplex) e la estende per incorporare la comprensione visiva in tempo reale, consentendo al modello di reagire a ciò che vede oltre a ciò che sente .

Dove è stato distribuito SeedRealtime

SeedRealtime è stato distribuito completamente nell'app Doubao (豆包) — l'assistente AI di ByteDance — ed è disponibile per tutti gli utenti. Gli utenti aggiornano Doubao all'ultima versione e accedono all'interfaccia di videochiamata tramite la funzione "telefonata" per sperimentare l'interazione AI audio-video in tempo reale .

ByteDance ha dimostrato diversi casi d'uso: identificare diverse persone in una conversazione di gruppo e tenere traccia di chi sta parlando; aiutare un turista straniero a comprendere un menu cinese e le spiegazioni del cameriere in tempo reale; osservare continuamente una mostra museale e avvisare proattivamente quando appare un artefatto specifico; guidare un utente nell'uso di una macchina da caffè e correggere errori in base ai cambiamenti visivi; monitorare il voltare pagina durante la lettura di un articolo e suggerire automaticamente quando appare un capitolo target .

Il più ampio portfolio AI di ByteDance nel 2026

SeedRealtime è un tassello del ritmo crescente di rilascio dell'IA di ByteDance. Il team Seed ha pubblicato diversi modelli da metà 2025 a metà 2026:

Questi modelli, insieme a Seeduplex (9 aprile 2026), formano l'ecosistema AI full-stack di ByteDance che copre generazione di linguaggio, immagini, video, audio e interazione multimodale in tempo reale .