ByteDance SeedRealtime: Die erste KI, die gleichzeitig sieht, hört und spricht

Wie sich SeedRealtime von herkömmlichen Sprachassistenten unterscheidet

Herkömmliche Sprachassistenten arbeiten in einer Kaskade: Audio durchläuft eine Spracherkennung (ASR), der Text wird bei Bedarf durch ein Bildmodell geschickt, dann durch ein Sprachmodell und schließlich durch eine Sprachsynthese (TTS). Jede Übergabe verursacht Latenz, und an jeder Grenze geht Kontext verloren .

SeedRealtime ersetzt diese Kaskade durch vier entscheidende Vorteile:

• Einheitliche Ende-zu-Ende-Architektur – native Verschmelzung von Audio, Video und Text vermeidet Verzögerungen und Informationsverluste
• Gemeinsames Audio-Video-Verständnis – das Modell kann Homonym-Mehrdeutigkeiten auflösen, indem es den visuellen Kontext nutzt (z. B. „schreiben“ von „Schreiben“ unterscheiden, je nachdem, was es sieht) und zeitliche Verweise in Videos präzise versteht
• Proaktive Interaktion – es nimmt kontinuierlich seine Umgebung wahr und kann den Nutzer proaktiv warnen, wenn sich die Szene ändert (z. B. ein Zielobjekt erscheint) und externe Werkzeuge aufrufen
• Natürlicher Gesprächsrhythmus – es erfasst den Gesprächsstatus und das Tempo des Nutzers in Echtzeit, schaltet sich zum richtigen Zeitpunkt ein, pausiert und antwortet, und ist robust gegenüber Hintergrundgeräuschen und Gesprächen von Umstehenden

Die technische Herausforderung: der Gesprächsrhythmus

Das schwierigste Problem, das SeedRealtime gelöst hat, ist die Frage „Wann sprechen, wann zuhören?“ in einem kontinuierlichen multimodalen Strom. Herkömmliche, auf Wechsel (Halbduplex) basierende Assistenten warten auf eine Stille, bevor sie antworten – was bedeutet, dass sie entweder unterbrechen oder schweigen .

SeedRealtime kann mit seiner Vollduplex-Architektur:

• Den Gesprächsstatus und das Tempo des Nutzers in Echtzeit erfassen
• Absichtliche Pausen von Zögern unterscheiden
• Gespräche von Umstehenden und Hintergrundgeräusche ignorieren, um Fehlauslösungen zu vermeiden
• Rückmeldungen und Unterbrechungen zu menschlich angemessenen Zeitpunkten geben

Ende-zu-Ende-Tests mit menschlichen Bewertern zeigen, dass die Probleme mit dem Audio-Video-Dialogrhythmus von SeedRealtime im Vergleich zu kaskadierten Modellen um die Hälfte reduziert wurden. Probleme wie „unterbrochen werden, bevor man fertig ist, verzögerte Reaktionen nach dem Sprechen oder Fehlauslösungen durch Hintergrundgeräusche“ gingen deutlich zurück, während die Wahrscheinlichkeit eines vollständigen, reibungslosen Einzeldialogs zunahm .

Wie SeedRealtime auf Seeduplex aufbaut

SeedRealtime ist die multimodale Weiterentwicklung von ByteDances früherer Vollduplex-Arbeit. Seeduplex wurde am 9. April 2026 als ByteDances erstes natives Vollduplex-Sprach-Modell vorgestellt – es konnte gleichzeitig zuhören und sprechen und überwand das bisherige Halbduplex-Paradigma .

SeedRealtime nimmt den Kerndurchbruch von Seeduplex – natives Ende-zu-Ende-Vollduplex – und erweitert ihn um Echtzeit-Bildverständnis, sodass das Modell auf das reagieren kann, was es sieht, zusätzlich zu dem, was es hört .

Wo SeedRealtime eingesetzt wird

SeedRealtime ist vollständig in der Doubao-App (豆包) – ByteDances KI-Assistent – integriert und für alle Nutzer verfügbar. Nutzer aktualisieren Doubao auf die neueste Version und rufen über die „Telefon“-Funktion die Videoanruf-Oberfläche auf, um die Echtzeit-Audio-Video-KI-Interaktion zu erleben .

ByteDance hat mehrere Anwendungsfälle demonstriert: Identifizieren verschiedener Personen in einer Gruppe und Verfolgen, wer spricht; Hilfe für einen ausländischen Touristen beim Verständnis einer chinesischen Speisekarte und der Erklärungen des Kellners in Echtzeit; kontinuierliches Beobachten einer Museumsausstellung und proaktives Melden, wenn ein bestimmtes Exponat erscheint; Anleitung eines Nutzers bei der Bedienung einer Kaffeemaschine und Korrektur von Fehlern basierend auf visuellen Änderungen; Überwachen des Seitenwechsels beim Lesen eines Papiers und automatisches Auffordern, wenn ein bestimmtes Kapitel erscheint .

ByteDances erweitertes KI-Portfolio im Jahr 2026

SeedRealtime ist ein Teil von ByteDances zunehmender Veröffentlichungsdynamik im KI-Bereich. Das Seed-Team hat von Mitte 2025 bis Mitte 2026 mehrere Modelle auf den Markt gebracht:

Diese Modelle bilden zusammen mit Seeduplex (9. April 2026) ByteDances Full-Stack-KI-Ökosystem, das Sprache, Bild-, Video- und Audiogenerierung sowie Echtzeit-Multimodal-Interaktion umfasst .