Gemini 4 cemerlang dalam ujian penanda aras, namun timbul persoalan tentang prestasi pengekodannya

Bloomberg melaporkan bahawa Gemini 4 mendapat keputusan baik dalam penanda aras AI yang lazim digunakan, tetapi kurang menyerlah apabila pekerja mengujinya pada tugasan sebenar, termasuk beberapa kerja pengekodan. Laporan itu mencerminkan keraguan dalaman menjelang pelancaran model tersebut, bukannya penilaian muktamad terhadap semua kebolehannya. Google mempertikaikan kritikan itu. Pada hari yang sama, satu laporan lain menyebut Google telah memperkenalkan Gemini 4 Argon, namun belum menetapkan tarikh ketersediaan umum. 7510

Apa yang dilaporkan Bloomberg tentang Gemini 4

Individu yang mempunyai akses langsung kepada pembangunan Gemini 4 memberitahu Bloomberg bahawa model itu mendapat markah baik dalam penanda aras industri, tetapi menghadapi kesukaran dengan sesetengah tugasan pengekodan dalam penggunaan praktikal. Mereka bercakap tanpa nama, maka laporan tersebut lebih tepat difahami sebagai maklum balas pekerja—bukan penilaian bebas yang diterbitkan terhadap model itu. 7

Perbezaan ini penting: keputusan penanda aras dan pengalaman menggunakan model untuk tugasan tertentu ialah dua jenis bukti yang berbeza. Laporan Bloomberg menunjukkan bahawa keputusan ujian yang baik belum menghapuskan semua kebimbangan dalaman tentang keupayaan Gemini 4 dalam pengekodan. Namun, ia tidak membuktikan bahawa model itu lemah dalam semua kegunaan sebenar. 7

Mengapa isu pengekodan penting kepada Google

Isu ini penting kerana Google sedang bersaing untuk membangunkan alatan pengekodan berasaskan AI. Bloomberg sebelum ini melaporkan kebimbangan dalam syarikat bahawa pesaing sedang bergerak lebih pantas. Pada April, laporan itu menyebut pemimpin Google bimbang syarikat berisiko ketinggalan, khususnya ketika Anthropic menawarkan alatan pengekodan yang menurut sumber lebih berkesan dan popular dalam kalangan perniagaan. 4

Laporan berasingan pada Julai pula menyebut Gemini 3.5 Pro ketinggalan beberapa bulan daripada jadual asal ketika Google berusaha meningkatkan keupayaannya, terutamanya dalam pengekodan. Pekerja yang dipetik dalam laporan itu bimbang model daripada Anthropic dan OpenAI mengatasi keupayaan Gemini. 1 Reuters turut melaporkan bahawa Gemini 3.5 Pro dirancang untuk membantu Google mengejar pesaing dalam alatan pengekodan AI dan tugasan AI ejen. 2

Laporan terdahulu itu memberi konteks kepada persaingan, tetapi berkaitan Gemini 3.5 Pro dan kebimbangan lebih luas—bukan bukti bahawa Gemini 4 mempunyai kelemahan yang sama atau Google sudah kalah dalam persaingan. Prestasi pengekodan yang lebih baik boleh menjadi penting untuk alatan pengekodan dan tugasan AI ejen Google. Namun, sumber yang tersedia tidak menunjukkan kesan khusus isu yang dilaporkan terhadap produk atau pelanggan Gemini 4. 247

Adakah Gemini 3.5 Pro dibatalkan?

Laporan yang tersedia menyokong kesimpulan bahawa Gemini 3.5 Pro mengalami kelewatan sementara Google berusaha meningkatkan keupayaannya, khususnya dalam pengekodan. Laporan itu tidak membuktikan bahawa Google membatalkan model tersebut. 12

Perbezaan ini penting: kelewatan bukan bukti bahawa sesuatu model dibatalkan. Begitu juga, laporan mengenai Gemini 3.5 Pro tidak mengesahkan prestasi Gemini 4, yang melibatkan set kebimbangan pekerja yang berasingan. 17

Bagaimana Google menjawab kritikan

Menurut laporan Bloomberg yang dipetik oleh ZeroHedge, Google menyifatkan dakwaan bahawa Gemini 4 menunjukkan prestasi lemah dalam pengekodan sebagai “tidak tepat”. Jawapan itu bercanggah dengan maklum balas pekerja tanpa nama. Sumber yang tersedia tidak merangkumi ujian awam bebas yang dapat memutuskan pertikaian tersebut. 57

Konteks masa juga perlu diambil kira: ketika Bloomberg melaporkan keraguan dalaman menjelang pelancaran Gemini 4, satu laporan pada hari yang sama menyebut Google telah memperkenalkan Gemini 4 Argon, tetapi belum mengumumkan bila model itu akan tersedia kepada orang ramai secara umum. 710

Reaksi saham Alphabet

Selepas laporan itu diterbitkan, saham Alphabet mengurangkan sebahagian kenaikannya. Menurut laporan yang memetik Investing.com, saham itu beralih daripada kenaikan lebih 2% kepada kira-kira 0.5% menjelang penutupan pasaran. Ini bermakna kenaikannya mengecil—bukan jatuh di bawah paras penutupan hari sebelumnya. 9

Apa yang diketahui—dan apa yang belum terbukti

Laporan itu menimbulkan persoalan penting untuk Google: adakah prestasi Gemini 4 yang baik dalam penanda aras turut diterjemahkan kepada tugasan pengekodan yang diuji oleh pekerja? Bukti yang ada terdiri daripada maklum balas dalaman tanpa nama dan penafian Google, bukannya penilaian awam yang menyeluruh. Kelewatan Gemini 3.5 Pro memberi konteks tentang persaingan, tetapi tidak membuktikan model itu dibatalkan atau Gemini 4 ketinggalan secara keseluruhan berbanding pesaingnya. 157