Luna-TTS im Check: Wie VUI Labs mit paralleler Sprachsynthese die TTS-Spitze angreift

Luna-TTS ist die mehrsprachige Text-to-Speech-Modellfamilie des chinesischen Start-ups VUI Labs. Sie umfasst eine auf Sprachqualität ausgerichtete Standardversion und Luna-TTS Realtime für Streaming und Sprachdialoge. VUI Labs wurde Anfang 2025 von dem Professor der Shanghai Jiao Tong University Qian Yanmin und dem Seriengründer Mei Jie mitgegründet.

Das Interesse an Luna-TTS geht über einen einzelnen Leaderboard-Erfolg hinaus. VUI Labs versucht, die übliche autoregressive Sprachgenerierung neu zu denken: Statt Audiotoken strikt von links nach rechts vorherzusagen, komprimiert das System Sprache zunächst in diskrete Token und vervollständigt anschließend viele dieser Token in mehreren parallelen Diffusionsschritten.13

Wie gut ist Luna-TTS im Ranking?

Die Ranglisten zu Sprachmodellen sind Momentaufnahmen. Sie hängen unter anderem von Modellversion, Testsprachen, Stimmen, Prompts, Stichprobengröße und Abstimmungszeitraum ab. Deshalb wäre die Aussage, Luna-TTS sei dauerhaft das beste Sprachmodell der Welt, nicht durch die vorliegenden Daten gedeckt.

Die verfügbaren Snapshots zeichnen folgendes Bild:

• Hugging Face TTS Arena: Berichten aus August 2026 zufolge erreichte Luna-TTS dort zeitweise Platz eins – vor ElevenLabs, MiniMax und Cartesia.810
• Artificial Analysis Speech Arena: Im selben Zeitraum wurde Luna-TTS in Berichten auf Platz drei geführt, noch vor einem Google-Modell.8
• Aktuellerer Snapshot: In der Anbieter-Rangliste von Artificial Analysis vom 1. September 2026 lag Luna TTS auf Platz fünf. Cartesia Sonic 3.6 stand an der Spitze, ElevenLabs v3 Conversational auf Platz acht.
• Weitere Ranglisten-Abbilder: In einem Ende August aktualisierten Spiegelbild der Artificial-Analysis-Daten lag Qwen-Audio-3.0-TTS-Plus vor Luna TTS.

Diese Ergebnisse widersprechen sich nicht zwangsläufig. Sie beziehen sich auf unterschiedliche Zeitpunkte und teilweise unterschiedliche Tabellen. Die belastbarste Einordnung lautet daher: Luna-TTS gehört zu den leistungsstarken Wettbewerbern im internationalen TTS-Markt und erreichte in bestimmten Zeitfenstern Platz eins oder drei. Ein dauerhafter Gesamtsieg gegen Cartesia, ElevenLabs, Qwen oder sämtliche Modelle von ByteDance Seed und Zhipu lässt sich daraus jedoch nicht ableiten.

Für ByteDance Seed und Zhipu liefern die verfügbaren Quellen außerdem keine ausreichend verlässliche, direkt vergleichbare Platzierung. Auch gegenüber Qwen ist kein pauschales „Luna schlägt Qwen“ belegt.

Was ist technisch neu an Luna-TTS?

Ein Qwen3-Modell mit diskreter Masked-Diffusion

Luna-TTS basiert auf dem vortrainierten Sprachmodell Qwen3-0.6B, das für die Arbeit mit Sprach- beziehungsweise Codec-Token weitertrainiert wurde.2 Herkömmliche autoregressive TTS-Systeme sagen typischerweise den jeweils nächsten Codec-Token voraus. Luna-TTS verarbeitet dagegen das gesamte Raster der mittels Residual Vector Quantization (RVQ) erzeugten Sprach-Token und füllt maskierte Positionen in mehreren Runden parallel auf.14

Der Unterschied ist grundlegend: Die Reihenfolge der Generierung wird nicht vollständig durch das bereits erzeugte Präfix bestimmt. Das Modell kann viele Positionen in derselben Runde bearbeiten. Dadurch soll die lange serielle Abhängigkeit klassischer Sprachmodelle sinken; zugleich können sich Fehler weniger leicht Schritt für Schritt entlang der gesamten Sequenz fortpflanzen.13

Die Standardversion ist vollständig nicht-autoregressiv. Sie erzeugt das Tokenraster einer Äußerung in einer festen Zahl paralleler Verfeinerungsschritte. Sprachbearbeitung und Zero-Shot-Stimmenklonen ergeben sich in diesem Rahmen als eine Art „Infilling“: Bestehende Teile des Sprachrasters können ergänzt oder überschrieben werden.14

Luna-Codec: acht Codebooks bei 24 kHz und 25 Hz

Für die Audiorepräsentation nutzt das System den selbst entwickelten Luna-Codec. Die öffentlich beschriebenen Eckdaten sind eine Abtastrate von 24 kHz, eine Bildrate von 25 Hz und acht Codebooks.89

Der Codec ist dabei mehr als ein reines Kompressionswerkzeug. Er legt fest, wie viele akustische Informationen das Sprachmodell pro Sekunde verarbeiten muss und wie gut sich Klangqualität, Rechenaufwand und parallele Generierung miteinander verbinden lassen. Bei Luna-TTS sind Sprachmodell, Codec und Diffusionsprozess deshalb als zusammengehöriges System konzipiert.

Realtime: Streaming in 1,28-Sekunden-Blöcken

Eine vollständige nicht-autoregressive Generierung ist für längere Dialoge nicht automatisch ideal. Ein Sprachassistent muss mit der Wiedergabe beginnen, bevor der komplette Satz des Nutzers verarbeitet ist. Luna-TTS Realtime verwendet deshalb einen Kompromiss: Zwischen den Blöcken besteht eine autoregressive Abhängigkeit, innerhalb jedes Blocks werden die Token jedoch parallel entrauscht.14

Ein Block umfasst 32 Codec-Frames und entspricht 1,28 Sekunden Audio. Mithilfe eines KV-Caches bleibt der Kontext erhalten; sobald der erste Block festgeschrieben ist, können weitere Audioblöcke schrittweise ausgegeben werden.1

Die Bezeichnung „vollständig nicht-autoregressiv“ wäre für die Realtime-Variante daher ungenau. Präziser ist: Sie arbeitet autoregressiv zwischen den Blöcken und parallel-diffusiv innerhalb eines Blocks.

GRPO und expressive Sprachsteuerung

Der technische Bericht beschreibt außerdem ein nachgelagertes Training mit GRPO, das an den diskreten Masked-Diffusion-Prozess angepasst wurde. Hinzu kommen Kontrollmöglichkeiten für Emotionen und nichtsprachliche vokale Elemente.15

Das Ziel ist nicht nur eine verständliche Aussprache, sondern eine natürlichere, ausdrucksstärkere und besser an Nutzerpräferenzen ausgerichtete Wiedergabe. Stimmenklonen und Sprachbearbeitung werden laut den technischen Beschreibungen ebenfalls als Token-Infilling behandelt.14

Wie stabil das Stimmenklonen in verschiedenen Sprachen funktioniert, wie lang das Referenzmaterial sein muss und wie zuverlässig emotionale Steuerung im Produktalltag arbeitet, lässt sich allerdings nicht allein aus der Architektur ableiten. Dafür sind eigene Tests erforderlich.

Was bedeuten die Geschwindigkeitswerte?

Der technische Bericht nennt für Luna-TTS Realtime mehrere auffällige Messwerte: Unter einem aufgewärmten lokalen Bereitstellungsprotokoll wurde ein End-to-End-Real-Time-Factor (RTF) von 0,024 gemessen. Der erste dekodierte Audioblock mit einer Länge von 1,28 Sekunden wurde nach 41,6 Millisekunden bereitgestellt.15

Weitere Berichte nennen acht bis 16 Diffusionsschritte und Tests mit zwei H20-GPUs.7 Innerhalb der gemessenen Engine-Grenzen deuten diese Werte auf einen hohen Durchsatz hin.

Sie sind jedoch nicht mit der Wartezeit gleichzusetzen, die jeder Nutzer bei einer Cloud-API erlebt. Die Messung basiert auf bestimmter Hardware, lokaler Bereitstellung, Parallelisierung und einem aufgewärmten Dienst. Netzwerkübertragung, Warteschlangen, Textvorverarbeitung, Audiod ekodierung und die Auslastung einer Produktionsumgebung können die tatsächliche Zeit bis zur ersten hörbaren Ausgabe verlängern.

Die 41,6 Millisekunden sind daher am besten als Zeit bis zur Bereitstellung des ersten Blocks unter kontrollierten Testbedingungen zu verstehen – nicht als allgemeines Versprechen für jede Cloud- oder API-Nutzung.

Trainingsdaten und Mehrsprachigkeit

Die Autoren berichten, Luna-TTS sei mit rund einer Million Stunden Sprachdaten auf Chinesisch, Englisch, Japanisch und Koreanisch vortrainiert worden.12 Eine solche mehrsprachige Datenbasis kann die Abdeckung bei Aussprache, Intonation und sprachübergreifender Stimmenmodellierung erweitern.

Die öffentlich verfügbaren Zusammenfassungen liefern allerdings nicht genügend Details, um Herkunft, Bereinigung, Verteilung auf die vier Sprachen oder urheberrechtliche Compliance der Daten unabhängig zu bewerten. Die Angabe „eine Million Stunden“ beschreibt somit die berichtete Trainingsgröße, beweist aber keine gleich starke Leistung bei jeder Sprache, jedem Akzent oder jedem Einsatzgebiet.

Vom Modell zur Produktstrategie

VUI Labs positioniert Luna-TTS offenbar nicht als isolierten Synthesedienst. Die Strategie umfasst drei miteinander verbundene Ebenen: Modell- und API-Funktionen, Werkzeuge für Kreative sowie Anwendungen für Sprachagenten. Für Kunden zählen damit nicht nur Klangqualität und Natürlichkeit, sondern auch Stimmenklonen, Emotionssteuerung, Dialogorchestrierung, Latenz, Betriebskosten und die Integration in bestehende Systeme.

Branchenberichte nennen Einsätze in der Logistikdisposition, der digitalen Versicherungswirtschaft sowie bei Software für Reise- und Gastgewerbe. Mehrere Kunden sollen zusammen mehr als eine Million Geschäftsgespräche geführt haben.6 Diese Zahl stammt aus Medienberichten über das Unternehmen beziehungsweise seine Deployments und ist keine unabhängig geprüfte Kennzahl. Angaben zu Kundenliste, Definition eines Gesprächs, Nutzungszeitraum und Vergleich mit anderen Anbietern fehlen öffentlich.

Das Gründerteam verbindet wissenschaftliche Leitung mit Produkt- und Vermarktungserfahrung: Qian Yanmin wird mit der Forschung zu Sprache und künstlicher Intelligenz in Verbindung gebracht, Mei Jie gilt als Seriengründer. Diese Kombination kann dabei helfen, Forschungsergebnisse schnell in APIs, Branchenlösungen und Sprachagenten zu überführen. Die langfristige Wettbewerbsfähigkeit hängt aber ebenso von Daten-Feedbackschleifen, Kundenbindung, Kosten pro Inferenz und internationaler Bereitstellung ab.

Wo liegen die glaubwürdigen Stärken?

Aus technischen Berichten und Ranglisten lassen sich vor allem vier plausible Stärken ableiten:

1. Ein anderer Generierungsansatz: Diskrete Masked-Diffusion ersetzt die streng sequenzielle Vorhersage einzelner Sprach-Token.
2. Abstimmung von Codec und Modell: Acht Codebooks, 24 kHz und 25 Hz bilden eine kompakte Schnittstelle für parallele Sprachgenerierung.89
3. Qualität und Steuerbarkeit: Mehrsprachiges Vortraining, Emotionskontrolle und GRPO-Post-Training sollen Ausdruck und Natürlichkeit verbessern.1
4. Ein Streaming-Design für Dialoge: 1,28-Sekunden-Blöcke, paralleles Entrauschen innerhalb eines Blocks und KV-Caching übertragen die nicht-autoregressive Grundidee in ein Streaming-Szenario.14

Diese Entscheidungen erklären, warum Luna-TTS in einigen Blindhörtests schnell weit nach oben kletterte. Sie belegen aber nicht automatisch einen Vorsprung bei Preis, langen Texten, Stimmkonsistenz, Rechte- und Missbrauchsschutz, API-Verfügbarkeit oder jeder einzelnen Sprache.

Fazit: Ein ernstzunehmender Spitzenreiter – kein ewiger Champion

Die technische Kernstory von Luna-TTS ist nachvollziehbar und relevant: VUI Labs kombiniert ein von Qwen3 abgeleitetes Sprachmodell, einen diskreten Sprach-Codec, Masked-Diffusion, GRPO-Post-Training und blockweises Streaming zu einem vollständigen TTS-System.1

Die Ranglisten sollten dennoch mit etwas Abstand gelesen werden. Luna-TTS stand laut Berichten im August 2026 an der Spitze der Hugging-Face-TTS-Arena und wurde in zeitgleichen Berichten auf Platz drei der Artificial-Analysis-Speech-Arena geführt. Im Snapshot der Artificial-Analysis-Anbieter-Rangliste vom 1. September 2026 lag das Modell dagegen auf Platz fünf.8

Die sinnvollste Einordnung lautet deshalb nicht „Luna-TTS besiegt dauerhaft alle Konkurrenten“, sondern: Luna-TTS ist ein wichtiger Spitzenkandidat im globalen TTS-Wettbewerb, dessen parallele Diffusions- und Echtzeit-Architektur besondere Aufmerksamkeit verdient.

Wer eine Sprachlösung auswählen will, sollte nicht nur auf den Gesamtrang schauen. Aussagekräftiger sind Tests mit den tatsächlich benötigten Sprachen, Stimmen, Klon-Referenzen, Emotionen und Textlängen – ergänzt um Messungen für Zeit bis zum ersten Audioblock, Konsistenz bei langen Texten und reale API-Kosten.