Databricks przeprowadził własny benchmark kodowania na wielomilionowej bazie kodu i odkrył, że otwarte modele, w szczególności GLM 5.2 od Z.ai, znajdują się na granicy Pareto pod względem jakości i kosztów dla zadań a... Cena za token okazała się myląca – większe, droższe za token modele mogą być bardziej efektywne...

Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What did Databricks' internal coding benchmark reveal about AI model performance and cost, and wh. Article summary: Databricks published results from an internal coding benchmark that evaluated agentic models on real engineering tasks from its multi-million-line codebase (Python, Go, TypeScript, Scala, SQL). The key findings and the c. Topic tags: general, documentation, general web, academic, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
Databricks, firma specjalizująca się w danych i sztucznej inteligencji, opublikowała wyniki wewnętrznego benchmarku kodowania z lipca 2026 roku. Testy dotyczyły agentowych modeli AI na rzeczywistych zadaniach inżynieryjnych pochodzących z ich własnej, wielomilionowej bazy kodu (Python, Go, TypeScript, Scala i SQL). Wyniki benchmarku skłoniły firmę do przyjęcia chińskiego modelu open-source GLM 5.2 od Z.ai (dawniej Zhipu AI) jako domyślnego silnika kodowania. Oto, co ujawnił benchmark i dlaczego Databricks podjął taką decyzję.
Databricks stworzył własny test, ponieważ uważa, że publiczne benchmarki, takie jak SWE-bench, mogą być "przetrenowane" i chciał sprawdzić, które agenty potrafią rozwiązywać realne zadania od początku do końca na podstawie starannie opracowanych zestawów testowych . Ewaluacja przyniosła trzy główne zaskoczenia.
Modele open-source osiągnęły poziom frontu technologicznego. Granica Pareto dla zadań kodowania – czyli najlepsza jakość w danej cenie – obejmuje teraz modele od OpenAI, Anthropic, ale też od dostawców open-source. Współzałożyciel Databricks, Matei Zaharia, stwierdził, że "wiele modeli, w tym te open-source, jest już naprawdę konkurencyjnych" . Firma doszła do wniosku, że otwarte modele, a konkretnie GLM 5.2, są teraz w stanie poradzić sobie z najwyższym poziomem trudności testowanych zadań
.
Cena za token to mylący wskaźnik kosztów. Benchmark wykazał, że cena za token danego modelu nie jest wiarygodnym predyktorem rzeczywistego całkowitego kosztu w agentowych przepływach pracy. Większe modele mogą być znacznie bardziej efektywne pod względem liczby tokenów, co oznacza, że tańszy za token model może ostatecznie kosztować więcej, jeśli potrzebuje więcej tokenów do wykonania tego samego zadania. To skłoniło Databricks do oceny modeli na podstawie rzeczywistego kosztu wykonania zadania od początku do końca, a nie surowych stawek API .
Całkowity koszt posiadania (TCO) przemówił na korzyść GLM 5.2. W API Z.ai, GLM 5.2 kosztuje około 1,40 dolara za milion tokenów wejściowych i 4,40 dolara za milion tokenów wyjściowych . Dla zespołu przetwarzającego 10 milionów tokenów miesięcznie z podziałem 50/50 na wejście i wyjście, całkowity koszt wyniósłby około 29 dolarów miesięcznie
. Konkurencyjne modele, takie jak Opus 4.8 Anthropica (5/25 dolarów za milion tokenów), mogą kosztować od 3 do 6 razy więcej przy porównywalnych lub nieznacznie lepszych wynikach w benchmarkach
. W przeliczeniu na zadanie, jeden z testów Databricks wykazał, że GLM 5.2 z agentem Pi osiągnął wskaźnik powodzenia na poziomie 87,5% przy koszcie 1,25 dolara za zadanie, podczas gdy Opus 4.8 z Claude Code osiągnął porównywalny wskaźnik powodzenia przy koszcie 2 dolarów za zadanie
.
Wydajność na poziomie modeli z pierwszej ligi przy znacznie niższym koszcie. GLM 5.2 uzyskał 62,1 punktu w SWE-bench Pro, wyprzedzając GPT-5.5 (58,6) i zbliżając się do wyniku Opus 4.8 od Anthropica . W FrontierSWE Dominance osiągnął 74,4%, prawie dorównując Opus 4.8, który miał 75,1%
. Wewnętrzne testy Databricks potwierdziły te publiczne wyniki: chiński model o otwartej wadze dorównywał lub zbliżał się do możliwości czołowych zastrzeżonych modeli w tych samych rzeczywistych zadaniach inżynieryjnych
.
Elastyczność wdrożenia dzięki otwartej wadze i licencji MIT. Ponieważ GLM 5.2 jest udostępniany na licencji MIT i ma w pełni otwartą wagę, Databricks mógł wdrożyć go we własnym środowisku, dostroić i ściśle zintegrować z agentowym przepływem kodowania bez opłat licencyjnych za stanowisko czy uzależnienia od dostawcy . Ten model licencjonowania pozwala firmom na uruchamianie modelu na własnej infrastrukturze, unikając cyklicznych kosztów API przy dużym wolumenie użycia.
Dopasowanie do zadań długookresowych i wieloetapowych. Benchmark koncentrował się na agentowych edycjach kodu obejmujących wiele plików i etapów rozumowania. GLM 5.2, z oknem kontekstowym na 1 milion tokenów i architekturą mixture-of-experts o 744 miliardach parametrów, został specjalnie zoptymalizowany pod kątek tego typu pracy na poziomie repozytorium, a nie autouzupełniania pojedynczych plików . W Terminal-Bench 2.1, który testuje wykonywanie zadań agentowych w wierszu poleceń, uzyskał wynik 81,0, co czyni go najlepszym modelem open-source i ustępuje jedynie Claude Opus 4.8 (85,0)
.
Studio Global AI
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
Databricks przeprowadził własny benchmark kodowania na wielomilionowej bazie kodu i odkrył, że otwarte modele, w szczególności GLM 5.2 od Z.ai, znajdują się na granicy Pareto pod względem jakości i kosztów dla zadań a...
Databricks przeprowadził własny benchmark kodowania na wielomilionowej bazie kodu i odkrył, że otwarte modele, w szczególności GLM 5.2 od Z.ai, znajdują się na granicy Pareto pod względem jakości i kosztów dla zadań a... Cena za token okazała się myląca – większe, droższe za token modele mogą być bardziej efektywne i kończyć zadania taniej.
GLM 5.2 zapewnia wydajność porównywalną z najlepszymi modelami (Opus 4.8, GPT 5.5) przy koszcie nawet 3 6 razy niższym.