Gemini 4 imponerer på tester, men får kritikk for koding i praksis

Bloomberg melder at Gemini 4 gjør det godt på vanlige KI-måleprøver, men at ansatte har opplevd svakheter når de bruker modellen på konkrete oppgaver – blant annet koding. Opplysningene bygger på anonyme personer med direkte kjennskap til arbeidet, og er derfor interne tilbakemeldinger, ikke en uavhengig, offentlig evaluering av alle modellens evner. 7

Google bestrider kritikken. Samme dag meldte Investing.com at selskapet hadde avduket Gemini 4 Argon, men ennå ikke oppgitt når modellen blir tilgjengelig for allmennheten. 510

Hva Bloomberg skriver om Gemini 4

Ifølge kilder med direkte kjennskap til prosjektet har Gemini 4 fått gode resultater på bransjens standardiserte tester, men hatt vansker med enkelte kodeoppgaver i praktisk bruk. Kildene ba om å være anonyme fordi de diskuterte et internt forhold. 7

Måleprøver og tilbakemeldinger fra ansatte er ulike typer dokumentasjon. Testresultater kan si noe om hvordan en modell gjør det på bestemte oppgaver, mens erfaringer fra bruk peker på hvordan den fungerer i konkrete situasjoner. Bloomberg-saken tyder på at gode testresultater ikke har fjernet all intern tvil om Gemini 4s kodeferdigheter. Den viser ikke at modellen fungerer dårlig på alle praktiske oppgaver. 7

Hvorfor koding er viktig for Google

Google konkurrerer om å utvikle KI-verktøy for programmering. Bloomberg har tidligere rapportert om bekymring internt for at selskapet henger etter rivalene på dette området. I april skrev nyhetsbyrået at Google-ledere var urolige for framgangen til konkurrenter, særlig Anthropic, som kilder beskrev som leverandør av mer effektive og populære kodeverktøy for bedrifter. 4

En separat Bloomberg-sak fra juli handlet om Gemini 3.5 Pro, som ifølge rapporten var flere måneder forsinket mens Google jobbet med å forbedre modellen, særlig på koding. Ansatte som ble sitert, var bekymret for at modeller fra Anthropic og OpenAI overgikk Gemini på viktige områder. 1 Reuters skrev også at Gemini 3.5 Pro skulle hjelpe Google med å ta igjen konkurrentene innen KI-verktøy for koding og såkalte agentoppgaver, der KI-systemer utfører flere trinn for å løse en oppgave. 2

Dette er bakgrunn for Googles konkurransesituasjon, men sakene om Gemini 3.5 Pro dokumenterer ikke at Gemini 4 har de samme svakhetene – eller at Google har tapt KI-kappløpet. Bedre koding kan være viktig for Googles verktøy og agentoppgaver, men kildene sier ikke hvordan de rapporterte problemene påvirker bestemte produkter eller kunder. 247

Ble Gemini 3.5 Pro skrinlagt?

Rapporteringen gir grunnlag for å si at Gemini 3.5 Pro ble forsinket mens Google arbeidet med å forbedre modellen, særlig kodeferdighetene. Den dokumenterer ikke at modellen ble skrinlagt. 12

En forsinkelse er ikke det samme som at et produkt er kansellert. Bekymringene rundt Gemini 3.5 Pro bør heller ikke brukes som bevis for hvordan Gemini 4 presterer: Bloomberg beskrev separate tilbakemeldinger om den nyere modellen. 17

Google avviser kritikken

Google kalte det «unøyaktig» å beskrive Gemini 4 som svak på koding, ifølge Bloomberg-saken slik den ble gjengitt av ZeroHedge. Dermed står selskapets svar i motsetning til de anonyme ansattes erfaringer. Kildene her inneholder ikke en offentlig, uavhengig test som avgjør uenigheten. 57

Tidspunktet gir også en viktig nyanse: Mens Bloomberg skrev om intern skepsis i forkant av lanseringen, meldte Investing.com samme dag at Google hadde avduket Gemini 4 Argon. Selskapet hadde likevel ikke oppgitt noen tidsplan for generell tilgjengelighet. 710

Alphabet-aksjen ga tilbake noe av oppgangen

Etter Bloomberg-saken falt Alphabet-aksjen tilbake fra en oppgang på over 2 prosent til rundt 0,5 prosent opp nær børsslutt, ifølge en rapport som viser til Investing.com. Det var altså en mindre dagsoppgang – ikke et fall under nivået ved forrige børsslutt. 9

Hva opplysningene viser – og ikke viser

Rapporteringen reiser et konkret spørsmål for Google: om Gemini 4s gode resultater på standardiserte tester også holder når modellen skal løse kodeoppgaver i praksis. Men grunnlaget består av anonyme interne kilder og Googles avvisning, ikke en fullstendig, offentlig evaluering.

Forsinkelsen av Gemini 3.5 Pro gir bakgrunn for Googles utfordringer med koding og konkurransen fra Anthropic og OpenAI. Den viser ikke at modellen ble skrinlagt, eller at Gemini 4 samlet sett ligger bak rivalene. 157