Gemini 4:n testitulokset ovat vahvoja – käytännön koodaustyöstä kuului huolia

Bloombergin mukaan Gemini 4 menestyi hyvin yleisesti käytetyissä tekoälyn vertailutesteissä, mutta työntekijöiden kokemukset käytännön tehtävistä olivat ristiriitaisempia. Osa malliin suoraan tutustuneista työntekijöistä kertoi, että se takelteli joissakin koodaustehtävissä. Kyse oli nimettöminä puhuneiden työntekijöiden palautteesta, ei riippumattomasta, kattavasta arviosta mallin kaikista kyvyistä. 7

Google kiisti kritiikin. Samana päivänä julkaistun uutisen mukaan yhtiö esitteli Gemini 4 Argonin, mutta ei kertonut aikataulua sen laajalle julkiselle saatavuudelle. 510

Testitulos ei kerro kaikkea käytännön toimivuudesta

Vertailutestit ja työntekijöiden arviot tiettyjen tehtävien sujumisesta ovat erilaista näyttöä. Bloombergin uutinen nostaa esiin kysymyksen siitä, näkyvätkö hyvät testitulokset myös koodaustyössä. Se ei kuitenkaan osoita, että Gemini 4 suoriutuisi heikosti kaikissa tosielämän käyttötarkoituksissa. 7

Kysymys on Googlelle merkityksellinen, sillä yhtiö pyrkii rakentamaan tekoälypohjaisia koodaustyökaluja ja kilpailee tällä alueella muiden tekoälykehittäjien kanssa. Bloomberg kertoi jo huhtikuussa, että Googlen sisällä oltiin huolissaan kilpailijoiden edistymisestä. Lähteiden mukaan Anthropicilla oli yrityskäyttöön työkaluja, joita pidettiin tehokkaampina ja suosituimpina. 4

Heinäkuussa Bloomberg raportoi myös Gemini 3.5 Pron viivästyneen kuukausia, kun Google yritti parantaa mallin kykyjä etenkin koodauksessa. Jutussa haastatellut työntekijät pelkäsivät Anthropic- ja OpenAI-mallien menevän Geminin edelle. 1 Reutersin mukaan Gemini 3.5 Prolla pyrittiin kuromaan eroa umpeen tekoälypohjaisissa koodaustyökaluissa ja agenttimaisissa tekoälytehtävissä. 2

Aiemmat jutut antavat taustaa kilpailutilanteelle, mutta ne käsittelevät Gemini 3.5 Prota ja Googlen laajempia huolia – eivät todista, että Gemini 4:llä olisi samat ongelmat tai että Google olisi hävinnyt kilpailun. Lähteet eivät myöskään kerro, miten Gemini 4:ää koskevat huolet vaikuttavat tiettyihin tuotteisiin tai asiakkaisiin. 247

Gemini 3.5 Pron viivästyminen ei tarkoita, että malli olisi hylätty

Saatavilla olevien tietojen perusteella Gemini 3.5 Prota viivästettiin, kun Google työskenteli sen kykyjen, erityisesti koodauksen, parantamiseksi. Lähteet eivät vahvista, että yhtiö olisi hylännyt mallin. 12

Viivästys ei siis itsessään ole näyttöä perumisesta. Gemini 3.5 Prota koskevia uutisia ei myöskään pidä tulkita vahvistukseksi Gemini 4:n suorituskyvystä: Bloombergin jutussa kuvataan erillisiä työntekijöiden huolia. 17

Google kiistää arvion heikosta koodauskyvystä

Bloombergin uutisen ZeroHedge-välityksen mukaan Google piti Gemini 4:n koodauskykyä alisuoriutujana kuvaavaa arviota ”epätarkkana”. Googlen kommentti on ristiriidassa nimettöminä puhuneiden työntekijöiden kokemusten kanssa. Käytettävissä olevissa lähteissä ei ole julkista, riippumatonta testiä, joka ratkaisisi kiistan. 57

Ajoituskin vaatii tarkennusta: Bloomberg kertoi yhtiön sisäisistä epäilyistä mallin lähestyessä julkistusta, ja samana päivänä uutisoitiin Gemini 4 Argonin esittelystä. Laajan julkisen saatavuuden aikataulua ei tuolloin ollut ilmoitettu. 710

Alphabetin osake luopui osasta nousuaan

Bloombergin jutun jälkeen Alphabetin osakekurssi menetti osan päivän nousustaan. Investing.comiin viitanneen uutisen mukaan osake nousi aiemmin yli kaksi prosenttia, mutta oli lähellä pörssipäivän päätöstä enää noin 0,5 prosenttia plussalla. Kurssi siis laski päivän huipusta, mutta ei painunut edellisen päätöskurssin alapuolelle. 9

Mitä uutinen kertoo – ja mitä se ei kerro

Uutinen nostaa esiin olennaisen kysymyksen: siirtyvätkö Gemini 4:n hyvät vertailutulokset työntekijöiden kokeilemiin koodaustehtäviin? Tähänastinen näyttö perustuu nimettömiin sisäisiin arvioihin ja Googlen vastaukseen, ei kattavaan julkiseen arviointiin. Gemini 3.5 Pron viivästyminen kertoo taustalla olevasta kilpailupaineesta, mutta ei todista, että malli olisi hylätty tai että Gemini 4 olisi yleisesti kilpailijoitaan jäljessä. 157