Gemini 4 scoort goed op benchmarks, maar werknemers melden problemen met coderen

Volgens Bloomberg scoorde Gemini 4 goed op veelgebruikte AI-benchmarks, maar presteerde het minder overtuigend toen werknemers het model inzetten voor echte taken, waaronder bepaalde programmeeropdrachten. Het bericht beschreef interne twijfels in de aanloop naar de introductie; het is geen volledige, onafhankelijke beoordeling van alle mogelijkheden van het model. Google weersprak de kritiek. Op dezelfde dag meldde een ander bericht dat het bedrijf Gemini 4 Argon had aangekondigd, zonder een datum te geven voor brede beschikbaarheid. 7510

Wat Bloomberg over Gemini 4 meldde

Mensen met directe kennis van het project vertelden Bloomberg dat Gemini 4 sterk scoorde op benchmarks uit de AI-sector, maar bij sommige programmeertaken in de praktijk tekortschiet. Omdat de bronnen anoniem waren, gaat het om gemelde ervaringen van werknemers en niet om een openbaar, onafhankelijk onderzoek naar het model. 7

Dat verschil is relevant: een benchmark is een gestandaardiseerde test, terwijl ervaringen met concrete opdrachten een ander soort aanwijzing vormen. Volgens het Bloomberg-bericht namen de goede testscores niet alle interne twijfels over het programmeervermogen weg. Het bewijst niet dat Gemini 4 in het algemeen slecht presteert bij praktisch gebruik. 7

Waarom coderen belangrijk is voor Google

De kwestie speelt in een markt waarin Google AI-hulpmiddelen voor programmeurs probeert te ontwikkelen. Bloomberg meldde in april dat er binnen het bedrijf zorgen waren over de voortgang, terwijl concurrent Anthropic volgens bronnen effectievere en populairdere programmeertools voor bedrijven aanbood. 4

Een afzonderlijk bericht uit juli meldde dat Gemini 3.5 Pro maanden vertraging had opgelopen terwijl Google de mogelijkheden verbeterde, met bijzondere aandacht voor coderen. Werknemers die in dat bericht aan het woord kwamen, vreesden dat modellen van Anthropic en OpenAI verder waren dan Gemini. 1 Reuters schreef eveneens dat Gemini 3.5 Pro Google moest helpen terrein terug te winnen bij AI-programmeertools en zogeheten agentische AI-taken: opdrachten waarbij een AI-systeem zelfstandig meerdere stappen uitvoert. 2

Die eerdere berichten schetsen de concurrentiedruk, maar gaan over Gemini 3.5 Pro en bredere zorgen binnen Google. Ze bewijzen niet dat Gemini 4 dezelfde tekortkomingen heeft of dat Google de AI-race heeft verloren. Sterker coderen kan van belang zijn voor Googles programmeertools en agentische toepassingen, maar de beschikbare bronnen maken niet duidelijk wat de gemelde problemen concreet betekenen voor producten of klanten. 247

Is Gemini 3.5 Pro geschrapt?

De berichtgeving ondersteunt de conclusie dat Gemini 3.5 Pro vertraging opliep terwijl Google aan de mogelijkheden werkte, met name aan het programmeervermogen. Ze toont niet aan dat het model is geschrapt. 12

Een vertraging is geen bewijs van annulering. Ook moeten de berichten over Gemini 3.5 Pro niet worden opgevat als bevestiging van de prestaties van Gemini 4: Bloomberg beschreef daarvoor een afzonderlijke reeks zorgen van werknemers. 17

Hoe Google reageerde

Volgens Bloomberg, zoals geciteerd door ZeroHedge, noemde Google het “onjuist” om te stellen dat Gemini 4 bij coderen ondermaats presteert. Daarmee staat Googles reactie tegenover de anonieme ervaringen die Bloomberg beschreef. De aangeleverde bronnen bevatten geen openbare, onafhankelijke test die het meningsverschil beslecht. 57

Ook de timing vraagt om nuance. Bloomberg schreef over interne scepsis terwijl Gemini 4 richting introductie ging. Een bericht van dezelfde dag meldde vervolgens dat Google Gemini 4 Argon had aangekondigd, maar nog geen planning had bekendgemaakt voor algemene beschikbaarheid. 710

Beurskoers van Alphabet

Na het nieuws leverde Alphabet een deel van de winst van die dag in. Het aandeel ging van ruim 2% hoger naar ongeveer 0,5% hoger richting het slot, meldde een bericht dat zich baseerde op Investing.com. De koers stond daarmee nog steeds boven het vorige slot. 9

Wat het bericht wel en niet aantoont

De berichtgeving werpt een concrete vraag op: vertaalt de sterke score van Gemini 4 op benchmarks zich ook naar de programmeertaken waarop werknemers het model hebben getest? Het beschikbare beeld bestaat uit anonieme interne ervaringen en een weerwoord van Google, niet uit een volledige openbare evaluatie. De eerdere vertraging van Gemini 3.5 Pro geeft context over de concurrentiestrijd, maar bewijst niet dat dat model is geschrapt of dat Gemini 4 in brede zin achterloopt op concurrenten. 157