Gemini 4 wypada dobrze w benchmarkach. Pracownicy zgłaszają problemy z kodowaniem

Bloomberg poinformował, że Gemini 4 dobrze wypada w popularnych testach porównawczych, ale w praktycznych próbach pracowników gorzej radzi sobie z niektórymi zadaniami — między innymi z programowaniem. Opisane zastrzeżenia pochodziły od osób znających projekt, które wypowiadały się anonimowo. To sygnał o wewnętrznych wątpliwościach, a nie niezależna, pełna ocena wszystkich możliwości modelu. Google zakwestionowało krytykę. Tego samego dnia osobny raport podał, że firma zaprezentowała Gemini 4 Argon, nie ogłaszając jednak terminu jego powszechnej dostępności. 7510

Co Bloomberg napisał o Gemini 4

Według osób mających bezpośredni dostęp do prac nad modelem Gemini 4 osiągał dobre wyniki w branżowych benchmarkach, ale miał problemy z niektórymi zadaniami programistycznymi, gdy pracownicy używali go w praktyce. Rozmówcy Bloomberga poprosili o anonimowość, dlatego doniesienie należy traktować jako relację o wewnętrznych testach i ocenach, a nie jako opublikowany, niezależny test modelu. 7

Benchmarki to standaryzowane sprawdziany, które pozwalają porównywać modele w określonych zadaniach. Wynik w takim teście nie musi jednak rozstrzygać, jak system poradzi sobie z konkretną pracą w codziennym użyciu. Relacja Bloomberga wskazuje, że wysokie wyniki Gemini 4 nie rozwiały wszystkich obaw dotyczących kodowania. Nie dowodzi natomiast, że model słabo sprawdza się we wszystkich zastosowaniach. 7

Dlaczego kodowanie ma znaczenie dla Google

Google rozwija narzędzia AI do programowania, a wcześniejsze doniesienia Bloomberga opisywały obawy w firmie o tempo postępów konkurencji. W kwietniu agencja informowała, że kierownictwo Google niepokoi się ryzykiem pozostania w tyle, zwłaszcza wobec narzędzi Anthropic, które według źródeł były skuteczniejsze i cieszyły się popularnością wśród firm. 4

W lipcu Bloomberg podał, że Gemini 3.5 Pro było opóźnione o kilka miesięcy, gdy Google pracowało nad poprawą jego możliwości, szczególnie w programowaniu. Cytowani pracownicy obawiali się, że modele Anthropic i OpenAI przewyższają możliwości Gemini. 1 Reuters informował z kolei, że Gemini 3.5 Pro miało pomóc Google nadrobić dystans w obszarze narzędzi do programowania i zadań realizowanych przez agentów AI. 2

To kontekst dla obecnych obaw, ale nie dowód, że Gemini 4 ma te same słabości co Gemini 3.5 Pro ani że Google przegrało rywalizację. Lepsze kodowanie może być istotne dla rozwoju narzędzi programistycznych i agentów AI, jednak dostępne źródła nie pokazują, jak opisane problemy Gemini 4 przekładają się na konkretne produkty czy doświadczenia klientów. 247

Czy Google porzuciło Gemini 3.5 Pro?

Dostępne doniesienia mówią, że premierę Gemini 3.5 Pro opóźniono, a Google pracowało nad poprawą jego możliwości, szczególnie w programowaniu. Nie potwierdzają, że firma porzuciła ten model. 12

Opóźnienia nie należy utożsamiać z anulowaniem projektu. Nie powinno się też traktować doniesień o Gemini 3.5 Pro jako potwierdzenia problemów Gemini 4 — Bloomberg opisał w tym przypadku osobne zastrzeżenia pracowników. 17

Jak odpowiedziało Google

Według relacji ZeroHedge z doniesienia Bloomberga Google uznało za „nieprawdziwe” twierdzenie, że Gemini 4 osiąga słabe wyniki w kodowaniu. Stanowisko firmy stoi w sprzeczności z anonimowymi relacjami pracowników. Dostępne źródła nie zawierają publicznego, niezależnego testu, który rozstrzygałby ten spór. 57

Warto też uwzględnić kontekst premiery: gdy Bloomberg opisywał wewnętrzny sceptycyzm przed udostępnieniem modelu, osobna publikacja tego samego dnia informowała o prezentacji Gemini 4 Argon. Google nie podało w niej terminu powszechnej dostępności systemu. 710

Reakcja akcji Alphabet

Po publikacji kurs akcji Alphabet oddał część wcześniejszych wzrostów. Według doniesienia powołującego się na Investing.com akcje przeszły z poziomu ponad 2 proc. na plusie do około 0,5 proc. wzrostu w pobliżu zamknięcia sesji. Oznacza to, że zmniejszyły zyski z danego dnia, ale nie spadły poniżej poprzedniego zamknięcia. 9

Co wynika z doniesień — a czego nie potwierdzają

Relacje stawiają przed Google konkretne pytanie: czy dobre wyniki Gemini 4 w benchmarkach przekładają się na skuteczność w zadaniach programistycznych, z którymi mierzyli się pracownicy. Na razie mamy do czynienia z anonimowymi relacjami wewnętrznymi i odpowiedzią firmy, a nie z pełną publiczną oceną. Opóźnienie Gemini 3.5 Pro dodaje kontekst rywalizacji, ale nie dowodzi ani porzucenia tamtego modelu, ani tego, że Gemini 4 wyraźnie ustępuje konkurentom. 157