Gemini 4 добре проходить бенчмарки, але не всі завдання з кодом

Bloomberg повідомив, що Gemini 4 добре показує себе в поширених тестах для оцінювання моделей штучного інтелекту, але деякі працівники Google виявили проблеми, коли використовували його для реальних завдань, зокрема з кодування. Це анонімні свідчення людей, які мали безпосередній доступ до роботи над моделлю, а не незалежне оприлюднене тестування всіх її можливостей. 7

Що саме повідомив Bloomberg

За словами співрозмовників Bloomberg, Gemini 4 набирає високі бали в галузевих бенчмарках, однак не так добре справляється з окремими завданнями з кодування на практиці. Бенчмарки — це стандартизовані тести, а відгуки працівників про конкретні робочі завдання є іншим типом свідчень. Тож повідомлення вказує на розбіжність між цими оцінками, але не доводить, що модель слабка в усіх реальних сценаріях. 7

Чому для Google важливі можливості кодування

Google змагається за ринок інструментів зі штучним інтелектом для написання коду. У квітні Bloomberg писав, що керівники компанії непокояться через темпи розвитку конкурентів, зокрема Anthropic, чиї інструменти для кодування джерела видання описували як ефективніші та популярніші серед бізнес-клієнтів. 4

Окреме повідомлення Bloomberg у липні стосувалося Gemini 3.5 Pro: запуск цієї моделі затримувався, поки Google працювала над її можливостями, особливо в кодуванні. За даними видання, деякі працівники побоювалися, що моделі Anthropic та OpenAI випереджають Gemini. Reuters також писав, що Gemini 3.5 Pro мала допомогти Google надолужити відставання в інструментах для кодування та завданнях із використанням ШІ-агентів — систем, які можуть виконувати послідовні дії для досягнення мети. 12

Ці попередні матеріали дають конкурентний контекст, але стосуються Gemini 3.5 Pro та ширших побоювань у компанії. Вони не доводять, що Gemini 4 має ті самі недоліки, або що Google програла перегони. Наявні джерела також не встановлюють, як саме згадані труднощі Gemini 4 вплинуть на конкретні продукти чи клієнтів. 247

Чи відмовилася Google від Gemini 3.5 Pro

Наявні повідомлення свідчать, що запуск Gemini 3.5 Pro затримався, поки компанія вдосконалювала модель, зокрема її здатність працювати з кодом. Вони не підтверджують, що Google відмовилася від цього релізу. Затримку Gemini 3.5 Pro також не слід сприймати як підтвердження проблем із Gemini 4: йдеться про окремі моделі й окремі повідомлення. 17

Як відповіла Google

За повідомленням Bloomberg, яке переказав ZeroHedge, Google назвала «неточним» твердження, що Gemini 4 показує слабкі результати в кодуванні. Отже, оцінки анонімних працівників і позиція компанії розходяться; наведені джерела не містять незалежного публічного тесту, який остаточно розв’язав би цю суперечність. 57

Того ж дня Investing.com повідомив, що Google представила Gemini 4 Argon, але не оголосила графік його широкої доступності для публіки. Це додає важливий контекст: повідомлення про внутрішні сумніви з’явилося на тлі представлення моделі, а не до її анонсу. 710

Як відреагували акції Alphabet

Після новини акції Alphabet скоротили зростання: від понад 2% «у плюсі» до приблизно 0,5% біля закриття торгів. Тобто вони відіграли частину денного підйому, але, за наведеними даними, не опустилися нижче рівня попереднього закриття. 9

Що відомо — і чого поки не доведено

З повідомлення Bloomberg випливає конкретне питання: чи перетворюються високі результати Gemini 4 у стандартизованих тестах на так само сильну роботу з завданнями з кодування. Однак наразі йдеться про анонімні внутрішні відгуки та заперечення Google, а не про повну незалежну оцінку моделі. Попередня затримка Gemini 3.5 Pro пояснює конкурентний контекст, але не доводить ані скасування тієї моделі, ані відставання Gemini 4 від конкурентів загалом. 157