Bilibili bygger översättningsmodeller för 150 språk – här är skillnaderna

Bilibili har tagit fram Index-Translate, en familj av översättningsmodeller och verktyg baserade på Qwen3.5. Den omfattar textöversättning, tal, dubbning med längdkrav och översättning av långa dokument. Textmodellerna uppges stödja 150 språk och kan följa instruktioner om bland annat terminologi, formatering och vilket innehåll som ska bevaras. De specialiserade grenarna är däremot byggda för olika uppgifter – det betyder inte att varje funktion finns i alla modeller. 25

Tre storlekar för textöversättning

Textmodellerna finns i storlekarna 2B och 9B, samt 35B-A3B som en version märkt förhandsversion. 35B-A3B är en så kallad mixture-of-experts-modell: den har totalt 35 miljarder parametrar, men omkring 3 miljarder är aktiva per token. Modellmaterialet beskriver stöd för översättning på 150 språk och instruktioner om exempelvis stil, struktur och önskat utdataformat. Det visar inte att alla storlekar presterar likvärdigt för varje språkpar. 245

Modellkortet för Index-Translate 2B anger licensen Apache-2.0. Även rapportering om lanseringen beskriver familjen som Apache-2.0-licensierad, men kontrollera licensen för just de vikter och filer du tänker använda. 49

Specialmodeller för tal, dubbning och långa texter

• Index-Echo är grenen för talöversättning. Tal-till-text-arbetsflödet kan skapa tidskodade undertexter när kinesiskt ljud eller video översätts till engelska, japanska eller spanska. Det använder bland annat talaktivitetssegmentering och sammanhang mellan segment, och kan kompletteras med en ordlista. För tal-till-tal-dubbning är målet att ta hänsyn till röstegenskaper hos den ursprungliga talaren. Det är en avsedd funktion, inte en garanti för att rösten alltid låter likadan i den färdiga dubben. 2123
• Index-Homura anpassar formuleringen till ett angivet antal stavelser. Det kan vara användbart för dubbningsmanus där repliker behöver passa en viss talad längd. Att träffa stavelsemålet innebär dock inte automatiskt att repliken låter naturlig eller passar perfekt till scenen. 2527
• Index-NativeLong, som också publiceras under namnet Index-Nailong, är utvecklad för översättning av hela dokument. Genom att ta hänsyn till källtexten som helhet är målet att hålla namn, terminologi och samband konsekventa genom längre texter. Den dokumentklient som har släppts använder fasta mallar för kinesiska–engelska och kinesiska–japanska. Det arbetsflödet är alltså snävare än textmodellernas uppgivna stöd för 150 språk. 326

Verktyg och begränsningar

I projektets kodförråd finns också ett webbläsartillägg som kan översätta webbsidor med en lokalt körd modell via ett API som följer OpenAI-formatet. Den dokumenterade processen för videodubbning innehåller flera steg utöver själva översättningen: ljud extraheras, röster kan separeras från bakgrundsljud, tal delas upp i tidskodade segment och dubben synkas sedan tillbaka till videons tidslinje. 2022

Exempel och modellmaterial visar användningsområden som textöversättning, undertexter, stavelseanpassning och långa dokument. Men sådana exempel och redovisade utvärderingar är inte oberoende bevis för att en viss modell är bäst i alla språk, uppgifter eller situationer. 35B-A3B-versionen är uttryckligen en förhandsversion, och teamet anger att material från NativeLongBench är planerat att göras tillgängligt. Det går därför att beskriva vad de olika grenarna är gjorda för, men inte att slå fast att resultaten alltid blir jämna eller att röst, timing och konsekvens genom hela dokument är garanterade. 526