SeedRealtime de ByteDance : le premier IA qui regarde, écoute et parle en même temps

En quoi SeedRealtime diffère des assistants vocaux traditionnels

Les assistants vocaux traditionnels fonctionnent comme un pipeline en cascade : l'audio passe par la reconnaissance vocale (ASR) pour devenir du texte, le texte traverse un modèle de vision si nécessaire, puis un LLM, et enfin un module de synthèse vocale (TTS). Chaque transfert ajoute de la latence, et le contexte se perd à chaque frontière .

SeedRealtime remplace ce pipeline par quatre avantages clés :

• Architecture unifiée de bout en bout — la fusion native de l'audio, de la vidéo et du texte élimine les délais et la perte d'informations entre les modules
• Compréhension conjointe audio-visuelle — le modèle peut résoudre les ambiguïtés homophoniques en utilisant le contexte visuel (par exemple, distinguer « mer » de « mère » selon ce qu'il voit) et comprendre avec précision les références temporelles dans une vidéo
• Interaction proactive — il perçoit en continu son environnement et peut alerter proactivement l'utilisateur lorsqu'une scène change (par exemple, l'apparition d'un objet cible) et appeler des outils externes
• Rythme de conversation naturel — il capte en temps réel l'état conversationnel et le rythme de l'utilisateur, intervenant, faisant une pause et répondant au bon moment, avec une grande robustesse face au bruit de fond et aux conversations environnantes

Le défi technique résolu : le rythme conversationnel

Le problème le plus difficile que SeedRealtime a résolu est celui de « quand parler, quand écouter » dans un flux multimodal continu. Les assistants traditionnels à tour de rôle (half-duplex) attendent une période de silence avant de répondre — ce qui signifie qu'ils interrompent ou restent silencieux .

L'architecture full-duplex de SeedRealtime lui permet de :

• Percevoir l'état conversationnel et le rythme de l'utilisateur en temps réel
• Distinguer les pauses intentionnelles des hésitations
• Ignorer les conversations environnantes et le bruit de fond pour éviter les déclenchements intempestifs
• Produire des signaux d'écoute et des interruptions à des moments humainement appropriés

Les résultats d'évaluation humaine de bout en bout montrent que, par rapport aux modèles en cascade, les problèmes de rythme des dialogues audio-vidéo de SeedRealtime ont été réduits de moitié. Les problèmes comme « se faire interrompre avant d'avoir fini, des réponses retardées après avoir parlé, ou des déclenchements intempestifs causés par le bruit de fond » ont considérablement diminué, tandis que la probabilité d'un dialogue unique complet et fluide a sensiblement augmenté .

Comment SeedRealtime s'appuie sur Seeduplex

SeedRealtime est l'évolution multimodale des travaux antérieurs de ByteDance sur le full-duplex. Seeduplex a été lancé le 9 avril 2026 comme premier LLM full-duplex natif uniquement vocal de ByteDance — il pouvait écouter et parler simultanément, dépassant le paradigme précédent du half-duplex .

SeedRealtime reprend la percée centrale de Seeduplex — le traitement full-duplex natif de bout en bout — et l'étend pour intégrer la compréhension visuelle en temps réel, permettant au modèle de réagir à ce qu'il voit en plus de ce qu'il entend .

Où SeedRealtime est déployé

SeedRealtime a été entièrement déployé dans l'application Doubao (豆包) — l'assistant IA de ByteDance — et est accessible à tous les utilisateurs. Les utilisateurs mettent à jour Doubao vers la dernière version et entrent dans l'interface d'appel vidéo via la fonction « appel téléphonique » pour expérimenter l'interaction IA audio-vidéo en temps réel .

ByteDance a démontré plusieurs cas d'usage : identifier différentes personnes dans une conversation de groupe et suivre qui parle ; aider un touriste étranger à comprendre un menu chinois et les explications du serveur en temps réel ; observer en continu une exposition de musée et alerter proactivement lorsqu'un artefact spécifique apparaît ; guider un utilisateur dans l'utilisation d'une machine à café et corriger les erreurs en fonction des changements visuels ; surveiller le changement de page lors de la lecture d'un article et inviter automatiquement à l'apparition d'un chapitre cible .

Le portefeuille IA plus large de ByteDance en 2026

SeedRealtime fait partie du rythme accéléré des lancements IA de ByteDance. L'équipe Seed a livré plusieurs modèles entre mi-2025 et mi-2026 :

Ces modèles, avec Seeduplex (9 avril 2026), forment l'écosystème IA complet de ByteDance couvrant le langage, l'image, la vidéo, la génération audio et l'interaction multimodale en temps réel .