Simate-beta får 33,95 på RoboDojo – men resultatet gjelder simulering

Simate-beta er Simate sitt første generelle «hurtigsystem» for fysisk KI: en modell laget for å styre roboter raskt mens de samhandler med omgivelsene. På RoboDojos resultatliste står modellen med 33,95 poeng og en suksessrate på 27,96 prosent. Oppføringen gjelder simulering, ikke testing på en fysisk robot.

Simate har i tillegg vist fram modellen på ekte roboter. Men et resultat i en simulering og utvalgte demonstrasjoner er ulike typer dokumentasjon. Ingen av dem viser alene hvor pålitelig systemet vil være på tvers av nye oppgaver og ukjente omgivelser. 5

Hva RoboDojo-resultatet viser

RoboDojo er en testarena for robotmodeller som skal kunne utføre ulike manipulasjonsoppgaver. Den omfatter både simulering og oppgaver i den fysiske verden. Simate-beta er ført opp på simuleringstavlen med resultatet 33,95 og 27,96 prosent suksessrate.

Det er derfor viktig å skille mellom resultatet på tavlen og Simate sine demonstrasjoner med ekte roboter. Demonstrasjonene skal blant annet vise minne, tilpasning til oppgaver, lange handlingsforløp og presis håndtering. De illustrerer hva selskapet ønsker at modellen skal kunne gjøre, men dokumenterer ikke i seg selv at den mestrer oppgaver den ikke er vist. 5

Et «hurtigsystem» som skal reagere raskt

Simate beskriver modellen som et hurtigsystem som kombinerer fysisk persepsjon i fire dimensjoner med minne. Tanken er å følge med på hvordan omgivelsene endrer seg over tid, huske relevant informasjon om framdriften i en oppgave og samtidig kunne reagere på nye forhold. 15

Selskapet ser for seg at det raske systemet etter hvert kan samarbeide med en langsommere, mer resonnerende modell når oppgavene blir mer komplekse. RoboDojo-resultatet og robotdemonstrasjonene presenteres som tidlige tegn på denne retningen – ikke som bevis for at modellen allerede fungerer godt i ukjente situasjoner. 10

AutoResearch skal bidra i modellutviklingen

Simate kaller den bredere tilnærmingen sin «Physical RSI». Målet er å knytte sammen modellutvikling, databehandling, eksperimenter, evaluering og bruk på ekte roboter i en gjentakende prosess. AutoResearch skal la KI-agenter bidra med å foreslå og teste forskningsideer, mens mennesker setter mål og rammer og vurderer resultatene. Selskapet beskriver Simate-beta som et tidlig resultat av denne menneskestyrte prosessen. 1112

Simate sier også at egenutviklet infrastruktur kobler sammen trening, kjøring av modeller og evaluering, og gjør det mulig å arbeide med flere forskningsretninger parallelt. Selskapet beskriver tilbudet Sinfra som infrastruktur for simulering, trening og kjøring av modeller. Påstanden er at et samlet oppsett kan gjøre det enklere å teste ideer og bruke resultatene i neste runde. Kildene dokumenterer imidlertid ikke uavhengig hvor mye dette forbedrer modellens ytelse. 1115

Erfaring fra robotikk og planer framover

Ifølge omtalen kombinerer Simate-teamet erfaring med å sette systemer for autonom kjøring i drift med forskning på blant annet verdensmodeller og styring av ekte roboter. Slik bakgrunn er relevant for selskapets mål om å utvikle modeller som både forstår den fysiske verden og kan styre maskinvare. Men meritter hos teamet er ikke det samme som uavhengig dokumentasjon av modellens prestasjoner. 512

Simate sier at selskapet vil publisere foreløpige resultater om generalisering til komplekse oppgaver innen utgangen av 2026. Deretter planlegger det forskningsartikler eller tekniske rapporter om modellen og automatisert forskning, samt gradvise åpen kildekode-utgivelser. Dette er planer, ikke resultater eller utgivelser som allerede foreligger. 11

Foreløpig er det mest presise bildet derfor et tidlig, i hovedsak selskapsformidlet resultat: en oppføring på RoboDojos simuleringstavle, separate demonstrasjoner med fysiske roboter og en forskningsprosess laget for å korte ned veien fra idé til test. Neste viktige steg blir mer detaljert teknisk dokumentasjon og resultater som viser hvordan modellen klarer seg utenfor akkurat denne simuleringstesten og de utvalgte demonstrasjonene.