Gemini 4 imponerar på benchmarktester, men uppges ha svårare med kodning i praktiken

Bloomberg rapporterade att Gemini 4 presterade väl i vanliga AI-tester, men att medarbetare upplevde sämre resultat när de använde modellen för konkreta uppgifter, bland annat viss programmering. Uppgifterna kom från personer med insyn i arbetet som uttalade sig anonymt. Det är alltså rapporterad intern återkoppling – inte en oberoende utvärdering av modellens alla förmågor. 7

Samma dag uppgav en separat rapport att Google presenterat Gemini 4 Argon, men utan att ange när modellen blir allmänt tillgänglig. 10

Vad rapporten säger om kodningen

Enligt Bloomberg fick Gemini 4 höga resultat i branschens benchmarktester, men hade svårare med vissa kodningsuppgifter när anställda prövade den i praktiken. 7

De två uppgifterna mäter inte riktigt samma sak: benchmarktester ger ett standardiserat sätt att jämföra modeller, medan medarbetarnas erfarenheter gäller specifika uppgifter de testat. Rapporten pekar därför på en möjlig skillnad mellan testresultat och användning i vissa sammanhang. Den visar däremot inte att Gemini 4 fungerar dåligt för alla praktiska uppgifter. 7

Varför det är viktigt för Google

Kodning är ett område där Google försöker stärka sina AI-verktyg. I april rapporterade Bloomberg om oro inom företaget för att halka efter, särskilt i konkurrensen med Anthropics verktyg för programmering, som källor beskrev som mer effektiva och populära bland företag. 4

En separat rapport i juli handlade om Gemini 3.5 Pro, som uppgavs vara flera månader försenad medan Google arbetade med att förbättra modellen, bland annat dess kodningsförmåga. Medarbetare som citerades i rapporteringen var oroliga för att modeller från Anthropic och OpenAI överträffade Gemini på vissa områden. 1 Reuters beskrev Gemini 3.5 Pro som en modell som skulle hjälpa Google att komma ikapp inom AI-verktyg för kodning och så kallade agentiska uppgifter – där AI utför flera steg för att lösa en uppgift. 2

Den tidigare rapporteringen ger bakgrund till konkurrensläget, men handlar om Gemini 3.5 Pro och bredare farhågor inom Google. Den bevisar inte att Gemini 4 har samma svagheter eller att Google har förlorat AI-kapplöpningen. De tillgängliga källorna visar inte heller hur de rapporterade problemen påverkar specifika produkter eller kunder. 247

Har Google övergett Gemini 3.5 Pro?

Nej, det går inte att dra den slutsatsen av den tillgängliga rapporteringen. Den beskriver en försening medan Google arbetade med modellens förmågor, särskilt kodning, men slår inte fast att utvecklingen avbröts. 12

Det är också viktigt att hålla isär modellerna: uppgifterna om Gemini 3.5 Pro bekräftar inte hur Gemini 4 presterar. Bloomberg beskrev separata farhågor från medarbetare om Gemini 4. 17

Googles svar på kritiken

Google kallade det ”missvisande” att beskriva Gemini 4 som svag inom kodning, enligt Bloombergrapporteringen som återgavs av ZeroHedge. 5 Det går emot de anonyma medarbetarnas uppgifter. De källor som finns här innehåller ingen offentlig, oberoende utvärdering som avgör vem som har rätt. 57

Tidpunkten är värd att notera: samtidigt som Bloomberg rapporterade om intern skepsis presenterade Google Gemini 4 Argon. Bolaget hade dock inte meddelat någon tidplan för när modellen skulle bli allmänt tillgänglig. 710

Alphabet-aktien gav tillbaka en del av uppgången

Efter rapporten minskade Alphabet-aktien sin uppgång. Enligt en rapport som hänvisade till Investing.com gick aktien från att vara upp mer än 2 procent till omkring 0,5 procent plus nära börsens stängning. Den var alltså fortfarande upp för dagen. 9

Vad vi vet – och vad vi inte vet

Rapporteringen väcker en konkret fråga för Google: om Gemini 4:s goda resultat i benchmarktester också motsvarar hur modellen klarar de kodningsuppgifter som medarbetare har prövat. Underlaget består av anonyma interna uppgifter och Googles invändning, inte av en fullständig offentlig utvärdering. Förseningen av Gemini 3.5 Pro ger konkurrensmässig bakgrund, men visar inte att modellen övergetts eller att Gemini 4 generellt ligger efter konkurrenterna. 157