Gemini 4 klarer sig godt i benchmarks, men får kritik for kodning

Bloomberg rapporterede, at Gemini 4 klarede sig godt i almindeligt brugte AI-benchmarktests, men gjorde det dårligere, da medarbejdere prøvede modellen på konkrete opgaver – blandt andet visse kodningsopgaver. Artiklen beskrev intern tvivl op til modellens lancering, ikke en endelig vurdering af alle dens evner. Google afviste kritikken, og en anden artikel samme dag skrev, at selskabet havde præsenteret Gemini 4 Argon, men endnu ikke oplyst, hvornår modellen bliver alment tilgængelig. 7510

Hvad Bloomberg skrev om Gemini 4

Personer med direkte kendskab til arbejdet fortalte Bloomberg, at Gemini 4 fik gode resultater i branchens benchmarktests, men havde problemer med bestemte kodningsopgaver i praksis. Kilderne udtalte sig anonymt, så oplysningerne bør forstås som tilbagemeldinger fra medarbejdere – ikke som en offentlig, uafhængig evaluering af modellen. 7

Det er en vigtig forskel: Resultater i standardiserede tests og beskrivelser fra medarbejdere, der afprøver en model på konkrete opgaver, er to forskellige slags evidens. Bloomberg-artiklen tyder på, at de stærke testresultater ikke fjernede al intern tvivl om modellens evner inden for kodning. Den viser ikke, at Gemini 4 klarer sig dårligt på alle praktiske opgaver. 7

Hvorfor kodning er vigtig for Google

Spørgsmålet har betydning, fordi Google konkurrerer om at udvikle AI-værktøjer til kodning. Bloomberg har tidligere beskrevet bekymring internt i selskabet over rivalernes fremgang på området. I april skrev mediet, at Google-ledere frygtede at sakke bagud, især fordi Anthropic ifølge kilder tilbød kodningsværktøjer, der var mere effektive og populære blandt virksomheder. 4

En separat artikel fra juli beskrev, at Gemini 3.5 Pro var flere måneder forsinket, mens Google arbejdede på at forbedre modellens evner – især inden for kodning. Medarbejdere, som Bloomberg citerede, frygtede, at Anthropic og OpenAI udviklede modeller, der overgik Gemini. 1 Reuters skrev også, at Gemini 3.5 Pro skulle hjælpe Google med at indhente konkurrenterne inden for AI-kodningsværktøjer og såkaldte agentiske AI-opgaver, hvor AI-systemer kan udføre opgaver i flere trin. 2

De tidligere artikler giver en konkurrencekontekst, men handler om Gemini 3.5 Pro og bredere bekymringer – ikke om bevis for, at Gemini 4 har de samme problemer, eller at Google har tabt kapløbet. Bedre kodningsevner kan være vigtige for Googles værktøjer og agentiske AI-opgaver, men de tilgængelige kilder viser ikke, hvordan de rapporterede problemer med Gemini 4 påvirker bestemte produkter eller kunder. 247

Blev Gemini 3.5 Pro droppet?

Den tilgængelige rapportering understøtter, at Gemini 3.5 Pro blev forsinket, mens Google arbejdede på at forbedre modellens evner, især inden for kodning. Den dokumenterer ikke, at Google opgav modellen. 12

Det er værd at skelne mellem en forsinkelse og en aflysning. Artiklerne om Gemini 3.5 Pro bekræfter heller ikke, hvordan Gemini 4 klarer sig; Bloomberg-artiklen om Gemini 4 beskriver et separat sæt bekymringer blandt medarbejdere. 17

Googles svar på kritikken

Ifølge Bloombergs rapport, som blev gengivet af ZeroHedge, kaldte Google det »unøjagtigt« at beskrive Gemini 4 som underpræsterende inden for kodning. Googles afvisning står i modsætning til de anonyme medarbejderes beskrivelser, og de tilgængelige kilder indeholder ikke en offentlig, uafhængig test, der afgør uenigheden. 57

Timingen kræver også lidt kontekst: Mens Bloomberg beskrev intern skepsis op til lanceringen, skrev en anden artikel samme dag, at Google havde præsenteret Gemini 4 Argon, men ikke oplyst nogen tidsplan for, hvornår modellen bliver alment tilgængelig. 710

Sådan reagerede Alphabet-aktien

Efter rapporten gav Alphabet-aktien noget af dagens fremgang tilbage. Ifølge en artikel, der citerede Investing.com, faldt kursen fra at være steget over 2 % til omkring 0,5 % i plus tæt på børslukketid. Det var altså en mindre dagsgevinst – ikke et fald under kursen fra dagen før. 9

Hvad rapporten viser – og ikke viser

Rapporteringen rejser et konkret spørgsmål for Google: Kan Gemini 4 omsætte sine stærke benchmarkresultater til gode præstationer på de kodningsopgaver, medarbejderne har prøvet? Men grundlaget består af anonyme interne kilder og Googles afvisning, ikke en fuldstændig offentlig evaluering. Forsinkelsen af Gemini 3.5 Pro giver kontekst om konkurrencen; den beviser hverken, at modellen blev droppet, eller at Gemini 4 generelt er bagefter rivalerne. 157