Databricksin sisäinen vertailu paljasti: avoimen lähdekoodin malli GLM 5.2 on yhtä hyvä kuin huippumallit – murto-osalla hinnasta

Databricks, data- ja tekoäly-yhtiö, on julkaissut tulokset sisäisestä koodausvertailustaan, jossa se arvioi agenttitekoälymalleja oikeilla ohjelmointitehtävillä. Tehtävät poimittiin suoraan yhtiön monimiljoonarivisestä koodikannasta, joka sisältää Pythonia, Go:ta, TypeScriptiä, Scalaa ja SQL:ää. Vertailun tulokset saivat yhtiön valitsemaan kiinalaisen avoimen lähdekoodin GLM 5.2 -mallin (kehittäjänä Z.ai, entinen Zhipu AI) oletuskoodausmoottorikseen. Tässä kerrotaan, mitä vertailu paljasti ja miksi Databricks teki vaihdon.

Mitä vertailu paljasti

Databricks rakensi oman testinsä, koska se havaitsi julkisten vertailujen, kuten SWE-benchin, olevan alttiita ylisovittamiselle. Yhtiö halusi mitata, mitkä agentit pystyvät ratkaisemaan oikeita tehtäviä alusta loppuun kuratoitujen testipakettien avulla . Vertailu paljasti kolme keskeistä yllätystä.

Avoimen lähdekoodin mallit ovat saavuttaneet huipputason. Koodausmallien Pareto-optimirintamalla – eli parhaan laadun ja hinnan yhdistelmässä – ovat nyt mukana OpenAI:n, Anthropicin ja avoimen lähdekoodin toimittajien mallit. Databricksin perustaja Matei Zaharia totesi, että "monet mallit, mukaan lukien avoimen lähdekoodin mallit, ovat nyt todella kilpailukykyisiä" . Yhtiö päätteli, että avoimet mallit, ja erityisesti GLM 5.2, pystyvät nyt käsittelemään testattuja vaikeimpiakin tehtäviä .

Token-hinta on harhaanjohtava kustannusmittari. Vertailu osoitti, että mallin token-hinta ei luotettavasti ennusta todellisia kokonaiskustannuksia agenttisissa koodaustyönkuluissa. Suuremmat mallit voivat olla huomattavasti token-tehokkaampia, mikä tarkoittaa, että halvempi token-hinta voi johtaa korkeampiin kokonaiskustannuksiin, jos malli tarvitsee enemmän tokeneita saman tehtävän suorittamiseen. Tämä sai Databricksin arvioimaan malleja todellisten, päästä päähän -tehtäväkustannusten perusteella, ei raaka-API hintojen .

Kokonaiskustannukset suosivat GLM 5.2:ta. Z.ai:n API:ssa GLM 5.2:n hinta on noin 1,40 dollaria miljoonalta syöttötokenilta ja 4,40 dollaria miljoonalta tulostetokenilta . Tiimille, joka käsittelee 10 miljoonaa tokenia kuukaudessa 50/50-jakaumalla, kokonaiskustannukset olisivat noin 29 dollaria kuukaudessa . Kilpailijamallit, kuten Anthropicin Opus 4.8 hintaan 5/25 dollaria miljoonalta tokenilta, voivat maksaa 3–6 kertaa enemmän vastaavista tai hieman paremmista vertailutuloksista . Yhdessä Databricksin testissä GLM 5.2 saavutti Pi-agentilla 87,5 %:n läpäisyasteen hintaan 1,25 dollaria per tehtävä, kun Opus 4.8:n vastaava luku Claude Code -agentilla oli 2,00 dollaria .

Miksi Databricks valitsi GLM 5.2:n

Suorituskyky vastaa huippumalleja murto-osalla hinnasta. GLM 5.2 sai SWE-bench Prossa tuloksen 62,1, ohittaen GPT-5.5:n (58,6) ja jääden vain muutaman pisteen päähän Anthropicin Opus 4.8:sta . FrontierSWE Dominancessa se saavutti 74,4 %, lähes tasoissa Opus 4.8:n 75,1 %:n kanssa . Databricksin sisäiset testit vahvistivat julkiset tulokset: kiinalainen avoimen painoarvon malli ylsi samalle tasolle tai lähelle johtavien omisteisten mallien kyvykkyyttä samoissa todellisissa ohjelmointitehtävissä .

Avoimen painoarvon ja MIT-lisenssin tuoma joustavuus. Koska GLM 5.2 on MIT-lisensoitu ja täysin avoimen painoarvon malli, Databricks pystyi ottamaan sen käyttöön omassa infrastruktuurissaan, hienosäätämään sitä ja integroimaan sen tiiviisti omaan agenttiseen koodaustyönkulkuunsa ilman käyttäjäkohtaisia lisenssimaksuja tai toimittajariippuvuutta . Tämä lisenssimalli antaa yrityksille mahdollisuuden ajaa mallia omalla infrastruktuurillaan, välttäen toistuvat API-kustannukset suurissa käyttömäärissä.

Sopii pitkäkestoisiin, monivaiheisiin tehtäviin. Vertailu keskittyi agenttisiin koodausmuokkauksiin, jotka ulottuvat useisiin tiedostoihin ja vaativat monivaiheista päättelyä. GLM 5.2, jossa on 1 miljoonan tokenin konteksti-ikkuna ja 744 miljardin parametrin mixture-of-experts -arkkitehtuuri, on optimoitu juuri tällaisiin repossa tapahtuviin pitkäkestoisiin tehtäviin, ei yksittäistiedostojen automaattitäydennykseen . Terminal-Bench 2.1:ssä, joka testaa komentorivi- ja agenttitehtävien suoritusta, se sai 81,0, ollen vahvin avoimen lähdekoodin malli ja jääden vain Claude Opus 4.8:n (85,0) taakse .