Hvorfor AI-assistenter til smarthjem fortsatt bommer på det grunnleggende

Generativ AI har gjort smarthjem-assistenter mer naturlige å snakke med. Det betyr likevel ikke at de har blitt like pålitelige når de skal utføre en kommando.

Forskjellen blir tydeligst ved de enkleste forespørslene: Slå på lyset. Demp lampen til 50 prosent. Start kveldsrutinen. Her ønsker ikke brukeren et plausibelt svar eller en hyggelig forklaring. Lyset skal endre tilstand – med én gang og på riktig sted.

Problemene viser seg i de enkleste kommandoene

Feilene gjelder ikke bare avanserte automatiseringer med mange trinn. David Pogue skrev at Alexa+ fikk «like under halvparten» av 135 forespørsler riktig, og at assistenten blant annet slet med å slå på lys og stille inn dimmernivåer. Det er en enkeltstående test, ikke en standardisert bransjemåling, men resultatet er oppsiktsvekkende for en assistent som først og fremst skal styre enheter.

Google Home-brukere har rapportert en mer spesifikk feil: Gemini kan starte Home-rutiner når telefonen ikke er koblet til Android Auto, men klarer ikke å starte de samme rutinene mens Android Auto er aktivt. Enkelte brukere har i stedet fått tilfeldige eller generiske svar.

Annen omtale beskriver også hvordan Gemini har nektet å slå av smarte lys, samtidig som assistenten hevdet at den ikke kunne styre belysning eller andre fysiske enheter. Android Authority har videre omtalt flere oppdateringer som skal forbedre alarmer, tidsur, lysstyring og responstid – og rette feil, blant annet en feil som førte til at lys ble slått av eller på uten brukerens input.

Rapportene dokumenterer ikke én felles feilrate for hele bransjen. De viser likevel et tilbakevendende mønster: Samtaleevnen kan bli bedre samtidig som den praktiske gjennomføringen fortsatt er ustabil.

Naturlig språk gjør styring vanskeligere

De eldre taleassistentene var begrensede, men kontrollveien var til gjengjeld forholdsvis smal. Når systemet gjenkjente en kommando, kunne den kobles til en kjent intensjon og en forhåndsvalidert operasjon, omtrent slik:

setBrightness(device = kitchen, level = 50)

Brukeren måtte kanskje formulere seg på en bestemt måte. Til gjengjeld var det færre mulige tolkninger og en mer forutsigbar vei fra tale til handling.

En assistent basert på en stor språkmodell må gjøre langt mer på egen hånd. Den må blant annet:

1. forstå hva brukeren mener;
2. tolke uttrykk som «her», «de der» eller «lysene»;
3. finne riktig rom, enhet og funksjon;
4. velge riktig verktøy eller API;
5. sende gyldige parametere;
6. ta hensyn til enhetens faktiske tilstand; og
7. rapportere korrekt om handlingen lyktes.

En feil i ett av disse leddene kan gi feil resultat. Assistenten kan velge feil lampe, misforstå hvilket rom det er snakk om, forsøke å bruke en funksjon enheten ikke støtter, sende en ugyldig verdi, basere seg på utdatert statusinformasjon – eller hevde at noe er gjort uten å kontrollere at enheten faktisk endret seg.

Forskning på språkmodellbasert smarthjem-styring peker nettopp på ikke-deterministisk oppførsel, forsinkelse og kostnader ved modellkjøring, samt begrenset personalisering, som hindringer for pålitelig kontroll. Systemene fungerer bedre når kommandoene er tydelige og strukturerte enn når assistenten må trekke mer omfattende slutninger fra konteksten.

Å forstå en kommando er ikke det samme som å utføre den

Funksjonene Amazon og Google markedsfører, er ikke uten verdi. Alexa+ skal kunne koble en muntlig beskrivelse til riktig enhet og funksjon, mens Google fremhever sammensatte kommandoer, unntak og korrigeringer midt i en setning.

Dette kan være nyttig når brukeren vil:

• beskrive en stemning og få den omgjort til et foreslått lysscenario;
• lage en rutine uten å lete seg gjennom en komplisert app;
• få forklart hva en automatisering gjør; eller
• gjøre en vag forespørsel om til en konkret plan.

Men tolkning og utførelse er to ulike oppgaver. «Gjør det koselig her før middagen» åpner for vurderinger. «Still kjøkkenlyset til 50 prosent» har et fast ønsket resultat. Den første kommandoen kan ha nytte av en fleksibel språkmodell. Den andre trenger først og fremst en smal og kontrollerbar kontrollbane.

Det forklarer hvordan en assistent kan håndtere en lang og komplisert setning imponerende, men likevel mislykkes med en enkel lyskommando. Språklig kompleksitet er ikke det samme som utførelsesmessig kompleksitet. En kommando for flere enheter kan lykkes fordi modellen tilfeldigvis velger riktige verktøy og parametere, mens en kort kommando kan feile hvis oppdagelsen av enheten eller funksjonen bryter sammen.

Forsinkelse påvirker også hvor pålitelig systemet føles

Korrekthet er bare én del av pålitelig styring. Kommandoen må også behandles innen rimelig og noenlunde forutsigbar tid. Et lys som slår seg på etter en lang pause – eller først etter at brukeren har gjentatt seg – oppleves som upålitelig selv om sluttresultatet til slutt blir riktig.

En gjennomgang av Alexa+ fant at enkelte svar kunne ta opptil 15 sekunder, selv om grunnleggende handlinger som lys- og termostatstyring i noen tilfeller gikk raskere. Omtale av Gemini for Home har samtidig beskrevet oppdateringer som skal gi raskere svar og kortere replikkveksling ved hverdagskommandoer. Det tyder på at forsinkelse fortsatt er et aktivt teknisk problem.

Behandling i skyen, valg av modell, søk etter enheter og kall til eksterne verktøy kan alle legge til tid. Resultatet kan bli et system som er mer kapabelt i teorien, men mindre forutsigbart i øyeblikket.

Blir de første brukerne en del av testprogrammet?

Kontinuerlige programvareoppdateringer er vanlig, og en modell der produkter lanseres og forbedres trinnvis kan være rimelig for samtalefunksjoner med lav risiko. Smarthjem-styring er annerledes. Feil påvirker fysiske enheter og rutiner som allerede fungerer i folks hjem.

Når en oppdatering endrer hvordan lys, alarmer eller automatiseringer oppfører seg, opplever brukeren endringen i hverdagen – ikke i et avgrenset chatbot-vindu. Gjentatte klager etter lanseringer, fulgt av feilrettinger og oppdateringer for bedre stabilitet, beviser ikke at leverandørene med vilje lanserte uferdige produkter. Det viser likevel at kundene møter problemer mens systemene fortsatt finjusteres. Meldinger om rutiner som hoppes over, automatiseringer som slutter å virke og svar som varierer, gjør modellen «lanser, samle inn data og forbedre» særlig kostbar når den brukes til daglig styring.

En tryggere utrulling ville beholdt en pålitelig, deterministisk vei for de faste kommandoene, og lagt den generative AI-en rundt denne kjernen. Da kunne brukerne fått mer naturlige samtaler uten å miste den grunnleggende avtalen med hjemmeautomatisering: Når du gir en kjent kommando, skal riktig enhet ende i riktig tilstand.

Den mest sannsynlige løsningen er en hybrid

Det mest praktiske er neppe å fjerne språkmodeller fra smarthjemmet. Løsningen er heller å gi dem en mer avgrenset rolle der feil får størst konsekvenser.

Et robust system kan bruke en språkmodell til å forstå språk og lage en plan, før resultatet sendes videre til et kontrollag med:

• validerte valg av enheter og parametere;
• tydelige tillatelser for sensitive handlinger;
• kontroll av faktisk status før og etter utførelse;
• feilhåndtering og nye forsøk; og
• bekreftelser som skiller mellom en planlagt og en fullført handling.

En forskningsretning beskriver en lignende modell der en språkmodell lager kjørbare artefakter i en kompileringsfase, mens arbeidsflyten ved kjøring håndterer forgreininger, verktøyvalg, nye forsøk og feil på en deterministisk måte.

Overført til smarthjem betyr det at modellen kan hjelpe med å uttrykke brukerens intensjon, men ikke bør være den eneste instansen som bestemmer hvilken fysisk handling som skal utføres hver gang. Jo nærmere kommandoen ligger en fast enhetstransaksjon, desto mer avgrenset, testbar og etterprøvbar bør utførelsen være.

Konklusjonen

Alexa+ og Gemini for Home illustrerer en bredere lærdom om generativ AI: Å bli flinkere til å snakke er ikke automatisk det samme som å bli flinkere til å operere. Tester fra anmeldere, brukere og teknologimedier viser assistenter som forstår mer kontekst og kan sette sammen mer ambisiøse forespørsler, men som fortsatt snubler i lys, dimmere, alarmer og rutiner.

Fremtidens gode smarthjem-assistent vil trolig kombinere begge tilnærmingene. Generativ AI kan gjøre oppsett og samtaler mer fleksible. Deterministisk programvare må sørge for at den endelige handlingen blir riktig, rask og etterprøvbar.

Før denne grensen er utformet på en god måte, kan en mer samtalepreget assistent derfor virke smartere – samtidig som den utfører hjemmets viktigste grunnleggende oppgaver mindre pålitelig.