Gemini 4 convainc sur les benchmarks, moins certains employés en situation réelle

Bloomberg rapporte que Gemini 4 réussit bien plusieurs benchmarks utilisés pour évaluer les modèles d’IA, mais que des employés de Google l’auraient trouvé moins convaincant sur certaines tâches concrètes, notamment en programmation. Ces témoignages anonymes font état de réserves internes ; ils ne constituent pas une évaluation indépendante et exhaustive du modèle. Google conteste cette description. 75

Le même jour, Google a dévoilé Gemini 4 Argon, mais n’a pas communiqué de calendrier pour sa mise à disposition générale. L’annonce et les doutes rapportés par Bloomberg ne suffisent donc pas, à eux seuls, à trancher la question des performances du modèle dans tous ses usages. 10

Ce que Bloomberg rapporte sur Gemini 4

Des personnes ayant un accès direct au projet ont indiqué à Bloomberg que Gemini 4 obtenait de bons résultats aux benchmarks du secteur, mais rencontrait des difficultés avec certaines tâches de codage lorsque des employés le mettaient à l’épreuve. Les sources ayant demandé à rester anonymes, il s’agit de retours internes rapportés par le média, et non de résultats publiés dans le cadre d’un test indépendant. 7

Les benchmarks sont des évaluations standardisées. Ils permettent de comparer des modèles dans des conditions définies, mais ne répondent pas à toutes les questions que pose leur utilisation sur des tâches concrètes. Le récit de Bloomberg met en lumière cet écart possible ; il ne prouve pas que Gemini 4 échoue dans tous les usages réels. 7

Pourquoi le sujet compte pour Google

Les outils d’IA dédiés au code sont un domaine où Google cherche à renforcer sa position. En avril, Bloomberg rapportait que des dirigeants de l’entreprise s’inquiétaient de l’avance de concurrents, notamment Anthropic, dont les outils de programmation étaient décrits par des sources comme plus efficaces et populaires auprès d’entreprises. 4

En juillet, un autre article de Bloomberg indiquait que Gemini 3.5 Pro avait plusieurs mois de retard, Google travaillant à améliorer ses capacités, en particulier en programmation. Des employés cités dans ce reportage craignaient qu’Anthropic et OpenAI ne développent des modèles dépassant les capacités de Gemini. 1 Reuters précisait que Gemini 3.5 Pro devait aider Google à rattraper son retard dans les outils de codage et les tâches dites « agentiques », où une IA peut enchaîner des actions pour accomplir un objectif. 2

Ces articles éclairent les enjeux concurrentiels, mais ils concernent Gemini 3.5 Pro et les inquiétudes plus générales de certains employés. Ils ne démontrent ni que Gemini 4 présente les mêmes faiblesses ni que Google a perdu la course. Les sources disponibles ne permettent pas non plus de mesurer les conséquences des difficultés rapportées sur des produits ou des clients précis. 1247

Gemini 3.5 Pro a-t-il été abandonné ?

Les informations citées font état d’un retard de Gemini 3.5 Pro et d’efforts pour améliorer ses capacités, notamment en programmation. Elles ne permettent pas d’affirmer que Google a abandonné le modèle. 12

Il faut aussi distinguer ces informations des critiques concernant Gemini 4 : le reportage sur Gemini 3.5 Pro ne confirme pas les retours internes rapportés au sujet du nouveau modèle. 17

La réponse de Google

D’après Bloomberg, cité par ZeroHedge, Google a jugé « inexact » de dire que Gemini 4 était en difficulté en programmation. Cette réponse contredit les témoignages anonymes rapportés par Bloomberg. Les sources disponibles ne comprennent pas de test public indépendant permettant de départager les deux versions. 57

Le calendrier mérite une précision : Bloomberg évoquait le scepticisme interne alors que Gemini 4 approchait de son lancement, tandis qu’un article publié le même jour rapportait que Google avait dévoilé Gemini 4 Argon, sans annoncer de date de disponibilité générale. 710

Réaction de l’action Alphabet

Après la publication de l’article, l’action Alphabet a réduit ses gains en fin de séance : elle est passée de plus de 2 % de hausse à environ 0,5 %, selon un compte rendu citant Investing.com. Elle restait donc en hausse par rapport à la clôture précédente. 9

Ce que l’on peut conclure — et ce qui reste à vérifier

Le point soulevé par Bloomberg est précis : les bons résultats de Gemini 4 aux benchmarks se retrouvent-ils dans certaines tâches de programmation telles que les employés les ont testées ? À ce stade, les informations reposent sur des témoignages internes anonymes et sur la contestation de Google, pas sur une évaluation publique complète. Le retard antérieur de Gemini 3.5 Pro donne un contexte concurrentiel, mais ne prouve ni son abandon ni un retard généralisé de Gemini 4 face à ses rivaux. 157