Бенчмарки Gemini 4 впечатлили, однако сотрудники Google сомневаются в его навыках программирования

Сильные результаты в стандартизированных тестах не всегда означают, что модель так же уверенно справляется с рабочими задачами. Bloomberg сообщил, что Gemini 4 хорошо показала себя в популярных бенчмарках, но у некоторых сотрудников Google возникли сомнения в её работе с отдельными задачами по программированию. Это отзывы людей, знакомых с разработкой, а не опубликованная независимая оценка всех возможностей модели. 7

В тот же день Google представила Gemini 4 Argon, однако не сообщила, когда модель станет доступна широкой публике. 10

Что именно сообщили о Gemini 4

По словам источников Bloomberg, у которых был непосредственный доступ к проекту, Gemini 4 набирала высокие баллы в отраслевых тестах, но хуже справлялась с некоторыми задачами, когда сотрудники использовали её на практике. Источники говорили анонимно, поскольку обсуждали внутренние вопросы компании. 7

Бенчмарки позволяют сравнивать модели по заранее заданным критериям, а рабочие задания проверяют их в конкретных ситуациях. Это разные виды оценки: хорошие результаты в тестах сами по себе не снимают вопросов к практической работе, но и не доказывают, что модель слаба во всех реальных сценариях. 7

Почему это важно для Google

Google конкурирует с другими разработчиками ИИ-инструментов для программирования. В апреле Bloomberg писал, что руководители компании беспокоились об отставании в этой области, тогда как инструменты Anthropic источники издания называли более эффективными и популярными у бизнеса. 4

В июле Bloomberg сообщил, что выпуск Gemini 3.5 Pro отложили на несколько месяцев, пока Google улучшала возможности модели, в особенности программирование. По словам сотрудников, некоторые внутри компании опасались, что модели Anthropic и OpenAI превосходят Gemini по возможностям. 1 Reuters также писал, что Gemini 3.5 Pro должна была помочь Google догнать конкурентов в инструментах для программирования и задачах с ИИ-агентами. 2

Эти публикации объясняют конкурентный контекст, но речь в них шла о Gemini 3.5 Pro и более широких опасениях сотрудников. Они не доказывают, что Gemini 4 столкнулась с теми же проблемами или что Google проиграла гонку. Имеющиеся источники также не позволяют определить, как замечания о программировании скажутся на конкретных продуктах и клиентах компании. 247

Отказалась ли Google от Gemini 3.5 Pro?

Доступные публикации подтверждают, что выпуск Gemini 3.5 Pro задержали, пока компания работала над её возможностями, особенно в программировании. Они не подтверждают, что Google отказалась от модели. 12

Важно не смешивать два разных вывода: задержка не означает отмену, а сообщения о Gemini 3.5 Pro не служат подтверждением оценки Gemini 4. В материале Bloomberg о новой модели описаны отдельные сомнения сотрудников. 17

Как ответила Google

Google назвала «неточной» характеристику Gemini 4 как модели, которая плохо справляется с программированием, — так её позицию передал Bloomberg, согласно публикации ZeroHedge. Это противоречит рассказам анонимных сотрудников. В доступных источниках нет независимого публичного тестирования, которое окончательно разрешило бы это расхождение. 57

При этом в день публикации Bloomberg Google представила Gemini 4 Argon, но не объявила срок её выхода для широкой публики. 710

Как отреагировали акции Alphabet

После публикации акции Alphabet сократили дневной рост: по данным Investing.com, на которые ссылался материал Yahoo Finance, они перешли от роста более чем на 2% к примерно 0,5% у закрытия торгов. Иными словами, акции отдали часть набранного, но не ушли в минус относительно предыдущего закрытия. 9

Что можно заключить из публикаций

Сообщения указывают на вопрос, который предстоит прояснить: насколько сильные результаты Gemini 4 в бенчмарках соответствуют её работе с задачами программирования, которые пробовали сотрудники. Пока это сочетание анонимных отзывов и возражений Google, а не полная публичная оценка модели. История с задержкой Gemini 3.5 Pro добавляет конкурентный фон, но не доказывает ни отказ от той модели, ни отставание Gemini 4 от соперников по всем направлениям. 157