Bilibili lanserer oversettelsesmodeller for tekst, tale og lange dokumenter

Bilibili sin Index-Translate er en familie av oversettelsesmodeller og verktøy basert på Qwen3.5. Den omfatter tekstoversettelse, tale, dubbing med styring av lengde og oversettelse av lange dokumenter. Tekstmodellene kommer i størrelsene 2B og 9B, samt 35B-A3B i en forhåndsversjon. Familien oppgis å støtte 150 språk og følge instrukser om blant annet terminologi, formatering og bevaring av innhold. De øvrige modellgrenene retter seg mot særskilte oversettelsesoppgaver, ikke nødvendigvis alle funksjonene i tekstmodellene. 25

Tre størrelser for tekstoversettelse

Tekstmodellene finnes i 2B, 9B og 35B-A3B, der den sistnevnte er merket som en forhåndsversjon. 35B-A3B er en blanding-av-eksperter-modell med 35 milliarder parametere totalt, hvor omtrent 3 milliarder er aktive for hvert token. Modellene beskrives som egnet til oversettelse mellom 150 språk og til å følge instrukser om terminologi, formatering, stil, struktur og andre krav til resultatet. Beskrivelsene viser ikke at alle størrelsene gir like gode resultater for alle språkpar. 245

Modellkortet for Index-Translate 2B oppgir Apache-2.0-lisens. Omtale av lanseringen beskriver også familien som Apache-2.0-lisensiert, men sjekk lisensen som følger akkurat vektene og filene du skal bruke. 49

Egne modeller for tale, dubbing og lange tekster

• Index-Echo arbeider med taleoversettelse. Tale-til-tekst-oppsettet lager tidsmerkede undertekster når kinesisk lyd eller video oversettes til engelsk, japansk eller spansk. Det bruker blant annet taleaktivitetssegmentering og kontekst fra nærliggende tekst, og kan bruke en ordliste. Tale-til-tale-grenen er utviklet for dubbing som tar hensyn til stemmekarakteristikken til den opprinnelige taleren. Dette er beskrevne funksjoner og mål, ikke en garanti for identisk stemmekvalitet i alle resultater. 2123
• Index-Homura kan tilpasse oversatt tekst til et angitt antall stavelser. Det er ment for dubbingmanus, der lengden på det som sies har betydning. At en oversettelse treffer et bestemt stavelsesantall, betyr ikke nødvendigvis at formuleringen blir naturlig eller passer perfekt til scenen. 2527
• Index-NativeLong, også publisert under navnet Index-Nailong, er laget for oversettelse av hele dokumenter. Modellen tar hensyn til kildedokumentet som helhet for å bidra til sammenheng i terminologi, navn og referanser. Den publiserte dokumentklienten har faste maler for kinesisk–engelsk og kinesisk–japansk. Det er et smalere dokumentert bruksområde enn tekstmodellenes oppgitte dekning på 150 språk. 326

Verktøyene og grensene for det vi vet

Repositoryet inneholder en nettleserutvidelse som kan oversette nettsider ved hjelp av en lokalt kjørt modell via et API som følger OpenAI-formatet. Den beskrevne videodubbingen omfatter flere trinn: lyd hentes ut, vokal skilles fra musikken, talen deles opp med tidsstempler, oversettes og synkroniseres tilbake til videoforløpet. Det viser at dubbing krever mer enn selve oversettelsen. 2022

Eksemplene og modellmaterialet dekker blant annet tekst, undertekster, oversettelse med stavelsesbegrensning og lange dokumenter. Men eksempler og rapporterte evalueringer er ikke uavhengig dokumentasjon på at én modell er best for alle språk, oppgaver eller bruksområder. Tekstmodellen 35B-A3B er uttrykkelig merket som en forhåndsversjon, og teamet oppgir at materiale fra NativeLongBench er planlagt delt. Det som foreligger, gir derfor grunnlag for å beskrive hva modellgrenene er laget for, men ikke for å love jevne resultater, presis stemmegjenkjenning, perfekt timing eller full konsistens gjennom ethvert dokument. 526