Mitä ByteDancen väitetystä reaaliaikaisesta tilavideomallista tiedetään

ByteDancen kerrotaan kehittävän tekoälyjärjestelmää reaaliaikaiseen tilavideon luontiin. Kyse olisi niin sanotusta maailmanmallista: järjestelmästä, joka ei tuota vain alusta loppuun toistuvaa videopätkää, vaan interaktiivisen, navigoitavan digitaalisen ympäristön. Bloombergin mukaan perustaja Zhang Yiming valvoo hanketta itse, ja julkaisu voisi tulla aikaisintaan ensi kuussa. Aikataulu voi silti muuttua, eikä ByteDance ole vahvistanut projektia julkisesti. 1

Seedancesta kohti interaktiivisia ympäristöjä

Raporttien mukaan uusi malli rakentuu ByteDancen Seedance-videogenerointiteknologian päälle. Seedance 2.0 on ByteDancen mukaan multimodaalinen ääni-videomalli, joka voi ottaa syötteeksi tekstiä, kuvia, ääntä ja videota.

Tilavideomalli olisi tavallista videonluontia pidemmälle menevä järjestelmä. Sen kuvataan luovan interaktiivisia virtuaalimaailmoja esimerkiksi livelähetyksiin, lyhytdraamoihin ja peleihin. 7 Käytännössä tavoitteena näyttää olevan ympäristö, joka reagoi käyttäjän liikkeisiin tai toimintaan sen sijaan, että katsoja näkisi ennalta renderöidyn videon alusta loppuun.

Tämä on myös syy, miksi hanketta kutsutaan maailmanmalliksi. Google DeepMind määrittelee maailmanmallit järjestelmiksi, jotka mallintavat ympäristön muutoksia ja sitä, miten toimet vaikuttavat ympäristöön. Sen Genie 3 -malli luo tekstikehotteista reaaliajassa tutkittavia interaktiivisia ympäristöjä.

Zhang Yimingin rooli on hankkeen vahvin strateginen viesti

Bloombergin mukaan Zhang koordinoi eri ByteDance-yksiköiden työtä ja ohjaa hankkeeseen tekoälyresursseja sekä laskentakapasiteettia. 1 Tämä ei tarkoita, että valmis tuote tai varma julkaisupäivä olisi olemassa. Jos tieto kuitenkin pitää paikkansa, perustajan suora osallistuminen kertoo, että ByteDance pitää hanketta todennäköisesti alustatason panostuksena eikä vain yhtenä uutena AI-video-ominaisuutena.

Bloomberg kuvasi aloitetta kilpailuksi Metan ja Alphabetin kanssa. Teknologialle nähdään mahdollisia käyttökohteita viihteen lisäksi robotiikassa ja autonomisissa järjestelmissä. 1 Lähin kaupallinen käyttökohde voi olla interaktiivinen media, mutta tekninen tavoite on laajempi: ympäristö, joka säilyy käyttökelpoisena ja johdonmukaisena, vaikka käyttäjän teot muuttavat sitä.

Pico ja suorituskykyluvut: kiinnostavia, mutta vahvistamattomia väitteitä

Erään lähteisiin perustuvan raportin mukaan malli voisi tuottaa videovirtaa noin 20 kuvan sekuntinopeudella ja noin 0,05 sekunnin viiveellä. Sen kerrotaan myös reagoivan Pico-virtuaalilasien käyttäjän ääneen tai liikkeisiin. 7

Lukuihin on kuitenkin syytä suhtautua varauksella. Ne ovat raportoitua tietoa, eivät ByteDancen julkaisemia tai riippumattomasti varmennettuja vertailutuloksia. Käytännön XR-kokemukseen vaikuttaisivat lisäksi muun muassa kuvan vakaus, tilallinen johdonmukaisuus, verkkoyhteyden luotettavuus, liikkeen ja kuvan välinen viive sekä päättelyn kustannukset.

Pilvessä tehtävä renderöinti voisi periaatteessa siirtää laskentaa pois laseista ja pienentää paikallisen laitteiston vaatimuksia. On silti liian aikaista päätellä, laskisiko malli Pico-laitteiden hintaa tai toisiko se ratkaisevan edun Meta- tai Apple-laitteisiin nähden. Nämä ovat mahdollisia strategisia seurauksia, eivät vahvistettuja tuotetuloksia.

Mahdollinen julkaisuikkuna ei ole lupaus

Raporttien otsikkotieto on, että malli voisi ilmestyä aikaisintaan ensi kuussa. Bloomberg kertoi tuotetta valmisteltavan mahdollista julkaisua varten, ei vahvistanut kiinteää päivämäärää. 1 Myös myöhemmät aihetta toistavat raportit painottavat, että aikataulu voi muuttua. 8

Ennen ByteDancen omaa ilmoitusta kannattaa erottaa toisistaan kolme asiaa:

• Raportoitu suunta: Seedanceen perustuva reaaliaikainen tilavideomalli.
• Raportoidut käyttökohteet: interaktiiviset maailmat live-sisältöihin, lyhytdraamoihin ja peleihin.
• Vahvistamattomat yksityiskohdat: julkaisuajankohta, käyttö- ja hinnoittelumalli, laiteintegraatio, viive, kuvataajuus ja kaupallinen saatavuus.

Laajempi AI-infrastruktuurin panostus

ByteDancella on käytössään huomattavia resursseja tekoälyinfrastruktuuriin, vaikka ne eivät ole tämän yksittäisen mallin erillinen budjetti. Reutersin mukaan yhtiö varmisti lähes 30 pankilta 29,6 miljardin dollarin lainan. Lähteiden mukaan varoja on tarkoitus käyttää kansainvälisen AI-toiminnan kasvattamiseen; järjestely kasvoi alkuperäisestä 20 miljardin dollarin tavoitteesta.

Bloomberg puolestaan kertoi ByteDancen harkinneen jopa 70 miljardin dollarin investointeja datakeskuksiin ja muuhun AI-infrastruktuuriin vuonna 2026. Kyse oli raportoidusta suunnitteluluvusta, ei vahvistetusta kulutuksesta eikä maailmanmallille korvamerkitystä summasta.

36Kr:n raportointiin pohjautuvien tietojen mukaan ByteDance olisi myös asettanut tavoitteeksi julkaista vähintään yhden maailmanmallin vuoden 2026 loppuun mennessä ja verrata sitä Googlen Genie 3:een. Nämä ovat raportoituja sisäisiä painopisteitä, eivät ByteDancen julkisia sitoumuksia.

Miksi tällä on merkitystä

AI-videomallit voivat jo tehdä vakuuttavia videoleikkeitä. Interaktiivinen ympäristö on vaikeampi haaste: järjestelmän on pidettävä näkymä ajallisesti ja tilallisesti johdonmukaisena sekä saatava se reagoimaan uskottavasti käyttäjän syötteisiin. Juuri siinä on maailmanmallien vetovoima – ja tekninen vaikeus.

ByteDancelle onnistunut järjestelmä voisi yhdistää videonluontimallit interaktiiviseen viihteeseen ja XR-käyttöön. Alan kannalta se toisi Googlelle ja Metalle uuden merkittävän kilpailijan. Toistaiseksi johtopäätös on kuitenkin rajattu: ByteDance näyttää tavoittelevan vakavasti Seedanceen perustuvaa tilavideon maailmanmallia Zhang Yimingin kerrotulla tuella. Mallin todellinen laatu, julkaisuaikataulu ja vaikutus Pico-laitteisiin jäävät avoimiksi, kunnes yhtiö julkaisee tuotteen ja mitattavia teknisiä tuloksia. 17