Mikä on Atlas? World Labsin avaruudelliseen älykkyyteen tähtäävä tekoälymalli

World Labs esittelee Atlaksen avaruudelliseen älykkyyteen suunniteltuna ”omni”-maailmanmallina. Kyseessä on yksi järjestelmä, joka on koulutettu käsittelemään luonnostaan tekstiä, kuvia, videota ja 3D-tietoa. Tavoite on kunnianhimoisempi kuin uskottavan videoleikkeen tuottaminen: Atlas on suunniteltu luomaan kuvia ja videoita hallituista kuvakulmista, rekonstruoimaan todellisia ympäristöjä 3D-muodossa ja mallintamaan, miltä tila näyttäisi kameran tai muun ympäristön muuttuessa. 9

Ero tavanomaisiin kuva- ja videogeneraattoreihin on ennen kaikkea avaruudellisessa johdonmukaisuudessa. Perinteiset generatiiviset mallit optimoivat usein sen puolesta, että yksittäinen ruutu näyttää uskottavalta. Atlas pyrkii puolestaan säilyttämään objektien, kuvakulmien ja taustalla olevan ympäristön väliset suhteet kameran liikkuessa.

Näin Atlas toimii

World Labs kuvaa Atlasta multimodaaliseksi, autoregressiiviseksi diffuusiomuuntajaksi, joka on esikoulutettu alusta lähtien. Malli yhdistää visuaaliset syötteet niiden sijaintiin yhteisessä avaruudellisessa kontekstissa ja ennustaa sitten uusia ruutuja, kuvakulmia tai 3D-tuloksia, jotka sopivat tähän kontekstiin. 9

Käyttäjä voi antaa yhden tai useita referenssikuvia sekä kameran sijaintia koskevia tietoja tai ennalta suunnitellun kamerareitin. Atlas voi tämän jälkeen renderöidä pyydettyjä kuvakulmia – myös sellaisia ympäristön osia, joita alkuperäisessä aineistossa ei näkynyt.

Näkymättömät alueet eivät kuitenkaan ole varmennettuja fyysisiä mittauksia. Malli päättelee ne saatavilla olevan aineiston ja oppimiensa visuaalisten todennäköisyyksien perusteella.

Atlaksen suunnittelu antaa sille kaksi toisiinsa liittyvää kykyä:

• Kamerasta riippuvainen generointi: kuvan tai videon tuottaminen niin, että virtuaalikameran sijaintia ja liikettä voidaan hallita.
• Avaruudellinen rekonstruktio: 3D-tilan päätteleminen rajallisesta kuvamäärästä ja uusien näkymien renderöinti tästä tilasta.

Saman avaruudellisen esitystavan on tarkoitus tukea myös simulaatioita. Ympäristössä voidaan esimerkiksi muuttaa valaistusta, liikettä, taustaa tai objektien sijaintia robotiikan jatkokäyttöä varten. 9

Mitä Atlas pystyy tuottamaan?

World Labsin mukaan Atlas tukee useita generointitapoja:

• kameran ohjaamia kuvia ja videoita yhdestä tai useasta referenssikuvasta
• tekstiohjattuja kuvia
• 360 asteen panoraamoja
• enintään minuutin mittaista videota 1440p-tarkkuudella

Yhtiö kuvaa kameranhallintaa ilmauksella ”pixel-perfect”, eli pikselintarkaksi. Tällä tarkoitetaan, että pyydetty kamerareitti on keskeinen osa generointia eikä vain jälkikäteen tehtävä editointi. Ominaisuus voisi auttaa esimerkiksi kuvamateriaalin uudelleenrajaamisessa, virtuaalisten kameraliikkeiden luomisessa ja otosten tuottamisessa vähäisistä visuaalisista referensseistä. 9

Käytännössä Atlaksen keskeinen lupaus on hallinta. Tekstikehote voi määritellä, mitä ympäristössä pitäisi olla, kun taas kuvat ja kameran geometria antavat mallille vihjeitä objektien sijainnista ja siitä, miten tila pitäisi nähdä. Atlas sijoittuu näin generatiivisen videon ja perinteisten 3D-tuotantoprosessien välimaastoon.

3D-rekonstruktio muutamasta kuvasta

World Labs kertoo Atlaksen pystyvän rekonstruoimaan todellisia ympäristöjä yhdestä aina useisiin kymmeniin syötekuviin. Yhtiön mukaan kaksi tai kolme valokuvaa voi usein tuottaa uskottavan lopputuloksen, kun taas yli sadan näkymän yhdistäminen on mahdollista silloin, kun päättelyn sijaan painotetaan mahdollisimman tarkkaa lopputulosta. 9

Tuloksen on tarkoitus sisältää sekä uusia kuvakulmia että nimenomaisia 3D-esityksiä. Atlas ei siis rajoitu tuottamaan yhtä tietystä kulmasta katsottuna oikealta näyttävää videosekvenssiä, vaan pyrkii muodostamaan ympäristöstä riittävän kattavan esityksen uusien näkymien luomista varten.

Tähän liittyy olennainen varaus. Jos ympäristöstä on nähty vain vähän, piiloon jääneet pinnat on pääteltävä. Rekonstruktio voi näyttää vakuuttavalta, vaikka malli olisi väärässä peittyneen objektin, mittojen, suljetun tilan tai pinnan geometrian suhteen. Atlaksen visuaalista laatua ei siksi pidä sekoittaa varmennettuun, mittaustason 3D-rekonstruktioon.

Mitä vertailutulokset kertovat – ja mitä eivät?

World Labs sanoo Atlaksen päihittävän erikoistuneet, alan huipputason 3D-rekonstruktiomallit yhtiön omissa rekonstruktiotesteissä. Julkaisussa nostetaan esiin määrällisiä tuloksia kamerasta riippuvaisesta generoinnista ja 3D-rekonstruktiosta. Samalla yhtiö huomauttaa, ettei yksi testi voi kuvata mallin koko kykykirjoa. 9

Kyse on merkittävistä yhtiön ilmoittamista tuloksista, mutta ne eivät ole sama asia kuin riippumaton vahvistus. Käytettävissä oleva aineisto ei sisällä kokonaisuudessaan toistettavaa arviointipakettia, jossa olisi kaikki aineistoprotokollat, mallikohtaiset pisteet, epävarmuusarviot, mallipainot ja kolmansien osapuolten toistot. Suorituskykyetu on siksi syytä lukea World Labsin väitteenä, ei vielä vakiintuneena toimialan tuloksena.

Lisätestausta tarvitaan erityisesti seuraavissa tilanteissa:

• pitkät ja monimutkaiset kamerareitit
• ympäristön peittyneet tai tulkinnanvaraiset osat
• mittatarkkuus ja geometriset mittaukset
• johdonmukaisuus pitkissä videosekvensseissä
• törmäysten ja fyysisten vuorovaikutusten uskottavuus
• siirtyminen tuotetuista simulaatioympäristöistä oikeisiin robotteihin

Miten Atlas liittyy Marbleen?

Marble on World Labsin nykyinen käyttäjille suunnattu tuote, jolla voi luoda pysyviä ja tutkittavia 3D-maailmoja. Se vastaanottaa tekstiä, yhden tai useita kuvia, videota, panoraamoja ja karkeita 3D-rakenteita sekä tuottaa ympäristöjä, joissa käyttäjä voi liikkua ja joita voidaan hyödyntää muissa työnkuluissa. 6

Atlas on tämän tuotestrategian seuraavan sukupolven malli, ei vain uudelleen nimetty Marble-ominaisuus. World Labs kertoo Atlaksen toimivan tulevien Marble-versioiden ja muiden tuotteidensa perustana. 9

Suhde on siten selkeä: Atlas tarjoaa yleiskäyttöisemmän avaruudellisen mallin, kun taas Marble toimii helpommin lähestyttävänä ympäristönä pysyvien maailmojen luomiseen ja tarkasteluun. Marblen dokumentaation mukaan maailmoja voi luoda tekstistä, kuvista ja videosta, minkä jälkeen niitä voi tutkia ja käyttää muissa prosesseissa. 6

World API ja kehittäjien pääsy palveluun

World Labs esitteli World APIn julkisena rajapintana, jolla sovellukset voivat luoda tutkittavia 3D-maailmoja tekstistä, kuvista, panoraamoista, moninäkymäaineistosta ja videosta. Rajapinnan dokumentaatio kuvaa työnkulun, jossa sovellus lähettää generointipyynnön ja hakee valmiin maailman myöhemmin. 83

Tämä ei tarkoita, että Atlas olisi saatavilla ladattavana tai reaaliaikaisesti paikallisesti ajettavana mallina. Dokumentoitu rajapinta keskittyy asynkroniseen maailman generointiin ja tuloksen hakemiseen. Käytettävissä oleva aineisto ei vahvista julkista Atlas-mallin päätepistettä, paikallisia mallipainoja tai reaaliaikaista päättelyvaihtoehtoa. 389

Kehittäjien näkökulmasta julkisesti dokumentoitu tuotepinta on siis tällä hetkellä Marble ja sen rajapintapohjainen maailmojen generointiprosessi – ei välttämättä suora pääsy kaikkiin tutkimusjulkaisussa kuvatuihin Atlas-ominaisuuksiin.

Mihin Atlasia kaavaillaan?

World Labs asemoi Atlaksen yleiskäyttöiseksi avaruudelliseksi järjestelmäksi, jolla on useita mahdollisia käyttökohteita.

Erikoistehosteet ja tuotanto

Kameran ohjaama generointi voisi auttaa taiteilijoita rajaamaan kuvamateriaalia uudelleen, luomaan virtuaalisia kameraliikkeitä ja tuottamaan otoksia vain muutaman referenssin perusteella. Keskeinen lupaus on hallittava avaruudellinen muuntelu, ei yksittäinen irrallinen generoitu ruutu. 9

Videopelit

Marble keskittyy jo nyt pysyviin ja tutkittaviin ympäristöihin. Atlas voisi viedä tätä ajatusta pidemmälle tarjoamalla peli- ja maailmansuunnittelijoille mallin, joka tuottaa tai rekonstruoi näkymiä säilyttäen kuvakulmien ja tilasuhteiden johdonmukaisuuden. 69

Suunnittelu ja visualisointi

Arkkitehti-, teollisuus- ja luovat tiimit voisivat käyttää tekstiä, kuvia ja muita referenssejä navigoitavien tilakonseptien tutkimiseen. Kuvakulman hallinta voi helpottaa idean tarkastelua ja iterointia verrattuna toisiinsa liittymättömien renderöintien sarjaan. 69

Robotiikka

World Labs kuvaa myös niin sanottua ”real-to-sim”-käyttötapausta: simulaatioympäristöjä voidaan luoda arkisista tallenteista, robotin näkökulmasta voidaan tuottaa RGB- ja syvyyskuvia, ja objekteja, valaistusta, liikettä sekä taustoja voidaan muuttaa navigoinnin ja käsittelyn harjoittelua varten. 9

Kyse on kunnianhimoisesta sovelluksesta, mutta pelkkä visuaalinen realismi ei osoita, että ympäristön fysiikka, mitat tai siirtyminen simulaatiosta todelliseen robottiin toimisivat luotettavasti. Nämä väitteet vaativat tehtäväkohtaisia kokeita.

Saatavuus, hinta ja avoimet kysymykset

Atlasia ei esitetä julkaisutiedotteessa laajasti saatavilla olevana tuotteena. World Labs kerää varhaisen pääsyn hakemuksia, kun taas Marble ja World API ovat dokumentoidut julkiset vaihtoehdot. 98

Tarkastellussa julkaisuaineistossa ei ilmoiteta Atlakselle vakiintunutta hinnastoa, mallin kokoa, koulutusdataa, laitteistokokoonpanoa, päättelyn viivettä, läpimenoa tai yksittäisen generoinnin laskentakustannusta. 9

Tiedot ovat olennaisia kaikille, jotka arvioivat Atlasta tuotantotyökaluna. Vaikuttava esittely ei vielä kerro, onko työnkulku riittävän edullinen suuressa mittakaavassa, tarpeeksi nopea vuorovaikutteiseen käyttöön tai toistettavissa monissa erilaisissa ympäristöissä.

Yhteenveto

Atlas on parasta ymmärtää World Labsin yrityksenä yhdistää generatiivinen video, 3D-rekonstruktio ja avaruudellinen simulointi yhdeksi multimodaaliseksi malliksi. Sen keskeinen idea on nostaa kameran sijainti ja 3D-konteksti ensimmäisen luokan syötteiksi sen sijaan, että jokaista generoituvaa ruutua käsiteltäisiin erillisenä kuvana.

Yhtiön ilmoittamat kyvyt ovat huomattavia: kameran hallinta kuvissa ja videoissa, rekonstruktio harvoista näkymistä, eksplisiittiset 3D-tulokset ja mahdolliset robotiikan simulaatiot. Tarkastellun aineiston perusteella Atlas on kuitenkin vielä varhaisen pääsyn järjestelmä. Ennen kuin riippumattomia arvioita, hinnoittelua, viivetietoja ja fyysisen tarkkuuden mittauksia on saatavilla, vahvimmat väitteet kannattaa nähdä lupaavana tutkimus- ja tuotekehityssuuntana – ei itsenäisesti todistettuna tuotantotason suorituskykynä.