Gemini 4 基準測試表現佳，實際編碼能力引發員工疑慮

彭博報導指出，Gemini 4 在業界常用的 AI 基準測試中表現不錯，但部分直接接觸專案的員工表示，模型實際處理某些編碼任務時不如測試成績所呈現。這些說法來自要求匿名的內部人士，反映的是員工回饋，並非對模型所有能力的公開、獨立評估。 7

報導提出的關鍵問題，是標準化測試的高分能否轉化為實際工作中的可靠表現；它並不能證明 Gemini 4 在所有真實使用情境中都表現不佳。 7

基準測試與實際使用，為何會有落差？

基準測試是用來比較模型能力的標準化評估；員工在特定工作中使用模型，則提供另一種實務觀察。彭博所引述的回饋顯示，Gemini 4 的基準測試成績未能消除部分員工對編碼能力的疑慮，但目前的來源並未提供足以全面驗證這些說法的公開測試。 7

這項疑問對 Google 尤其重要，因為 AI 編碼工具是公司與其他業者競爭的領域之一。彭博今年 4 月曾報導，Google 內部主管擔心公司在 AI 編碼工具競賽中落後；消息人士認為，Anthropic 提供的相關工具對企業更有效，也更受歡迎。 4

與 Gemini 3.5 Pro 的延遲有何關係？

今年 7 月，彭博報導 Gemini 3.5 Pro 的推出較原定時程延後數月，Google 當時正設法改善模型能力，尤其是編碼表現。報導引述的員工也擔心 Anthropic 和 OpenAI 的模型能力超越 Gemini。 1 路透社則指出，Gemini 3.5 Pro 的目標之一，是協助 Google 在 AI 編碼工具及代理式 AI 任務方面追趕競爭對手。 2

這些先前報導提供了 Google 面臨的競爭背景，但談的是 Gemini 3.5 Pro 的延遲與更廣泛的競爭疑慮，不能據此認定 Gemini 4 也有相同問題，或 Google 已在競賽中落敗。現有報導亦不足以證明 Gemini 3.5 Pro 已遭放棄：報導支持的說法是它延後推出，Google 當時仍在改善能力。 124

更好的編碼能力可能影響 Google 發展編碼工具及代理式 AI 任務的努力，但現有來源沒有說明 Gemini 4 的相關疑慮會如何影響特定產品或客戶。 27

Google 如何回應？Gemini 4 是否已公布？

據彭博報導的轉述，Google 認為將 Gemini 4 描述為編碼表現不佳「並不準確」。這與匿名員工的說法有所出入；目前提供的來源沒有一項公開、獨立測試能裁定雙方說法。 57

報導時點也值得留意：彭博刊出內部質疑之際，另一則同日報導稱 Google 已公布 Gemini 4 Argon，但尚未提供一般大眾何時可使用的時程。這項公布本身不能消除員工提出的疑慮，也不等同於外界已能全面檢驗模型表現。 710

Alphabet 股價如何反應？

相關報導出現後，Alphabet 股價回吐部分漲幅。據引述 Investing.com 的報導，股價當日漲幅一度超過 2%，收盤前收窄至約 0.5%。換言之，股價仍高於前一交易日收盤水準，並非轉為下跌。 9

目前能得出的結論

報導提出了 Google 必須面對的問題：Gemini 4 的基準測試成績，能否在員工嘗試的編碼工作中同樣體現？目前可見的證據主要是匿名內部人士的說法，以及 Google 的反駁，還不是完整的公開評估。Gemini 3.5 Pro 過去的延遲可作為競爭背景，但不代表該模型已遭放棄，也不足以證明 Gemini 4 整體落後對手。 157