AnswersPublished20 sources
Osmimiliardový model díky HarnessSQL dosáhl v testu SQL přesnosti 45,2 %
HarnessSQL trénuje osmimiliardový model v prostředí, v němž může pracovat s databází; jeho skóre na Spider 2.0 SQLite podle zpráv vzrostlo z 15,5 % na 45,2 %. Agent nemusí vytvořit dotaz napoprvé: může si prohlédnout tabulky a jejich strukturu, spustit SQL a podle výsledku upravit další postup.
PublikovalUpraveno pomocí GPT-6 LunaObrázky vytvořeny pomocí GPT Image 2
Research answer
Key takeaways
- HarnessSQL trénuje osmimiliardový model v prostředí, v němž může pracovat s databází; jeho skóre na Spider 2.0 SQLite podle zpráv vzrostlo z 15,5 % na 45,2 %.
- Agent nemusí vytvořit dotaz napoprvé: může si prohlédnout tabulky a jejich strukturu, spustit SQL a podle výsledku upravit další postup.
- Metoda kombinuje dolaďování na záznamech interakcí s posilovacím učením, které zohledňuje výsledek vykonaného dotazu.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does HarnessSQL, developed by HKUST and described as a collaboration with Microsoft researchers in an October 2026 arXiv paper covered b. Article summary: HarnessSQL’s central idea is to train a SQL agent inside the same execution environment it will use at deployment, rather than train it only to generate a final SQL statement from a question and schema. The available evi. Topic tags: general, academic, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
U běžného převodu textu na SQL dostane model otázku a popis databáze a má rovnou napsat výsledný dotaz. Jenže při práci s databází často potřebuje nejdřív zjistit, jaké tabulky jsou k dispozici, prozkoumat jejich strukturu a vyzkoušet dotaz. Pokud narazí na chybu, měl by z ní vyvodit, co změnit.
Právě na tento způsob práce cílí HarnessSQL. Osmimiliardový model trénovaný s jeho pomocí podle zveřejněných zpráv dosáhl v testu Spider 2.0-SQLite skóre 45,2 %, zatímco uváděná výchozí hodnota byla 15,5 %. 8
9
Trénink se podobá skutečnému používání
HarnessSQL neučí model pouze převádět otázky na jednotlivé SQL příkazy. Má ho připravit na interaktivní práci: prohlížení dostupných tabulek a schématu, spouštění dotazů a využívání výsledků nebo chyb při dalším rozhodování. Trénování proto zachovává celý průběh interakce s databází, a to jak při dolaďování modelu pod dohledem, tak při posilovacím učení. 17
25
Framework vychází z otevřeného prostředí DeepSeek Harness, které umožňuje skládat schopnosti agentů z modulů, a upravuje ho pro práci s SQL. 9
10
13 Specializované rozhraní nabízí například výpis tabulek, prohlížení jejich schématu a spouštění dotazů. Popsané nastavení navíc omezuje databázi na čtení, povoluje pouze jeden příkaz v dotazu a stanovuje časový limit 60 sekund.
28
Databázové prostředí a zpětná vazba
Autoři popisují izolovaná, spustitelná databázová prostředí, v nichž má agent k dispozici schéma, možnost vykonat dotaz i zpětnou vazbu při běhu. Repozitář projektu uvádí převod databází Spider 2.0-DBT z DuckDB do SQLite a tvorbu spustitelných úloh SQL z dat Spider 2.0-Lite a databází odvozených z DBT. 5
25
Důležitou součástí jsou záznamy celých interakcí. Model se neučí jen z izolovaných dvojic „otázka a správný dotaz“, ale z posloupností vlastních akcí a odpovědí databáze. Výzkumníci popisují dolaďování pod dohledem následované posilovacím učením, které využívá odměnu založenou na vykonání dotazu. 4
17
25
Smyslem je sladit trénink s tím, jak bude agent později skutečně pracovat: nejen napodobovat hotový SQL příkaz, ale také získávat potřebné informace a reagovat na to, co mu databáze vrátí.
Co ukazují zveřejněná skóre
V testu Spider 2.0-SQLite dosáhl podle dostupných zpráv osmimiliardový model po tréninku s HarnessSQL 45,2 %, oproti uváděným 15,5 % před tréninkem. 8
9 Samostatná zpráva uvádí pro čtrnáctimiliardový model skóre 54,8 %.
2 Ve stejném kontextu se zmiňují výsledky 14,8 % pro OmniSQL-32B a 16,3 % pro Arctic-Text2SQL-32B.
2
Výsledky naznačují, že schopnost používat nástroje a pracovat se zpětnou vazbou může na tomto benchmarku výrazně pomoci. Samy o sobě ale nedokazují, že menší modely překonají větší při všech úlohách s SQL. Výsledek závisí na konkrétním testu, nastavení i způsobu srovnání.
Co z dostupných podkladů nelze ověřit
Dostupné výňatky neposkytují dostatek podrobností k nezávislému ověření všech uváděných experimentálních čísel. Nelze z nich spolehlivě potvrdit například kompletní seznam čtyř nástrojů, průměrnou délku interakcí, podrobné ablační testy ani srovnání na LiveSQLBench. Tyto údaje proto zde nepovažujeme za ověřené.
Repozitář zveřejňuje kód pro tvorbu dat a tréninkový postup; širší přístup založený na trénování přímo v prostředí agenta popisuje odborný článek. 5
17
25
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Osmimiliardový model díky HarnessSQL dosáhl v testu SQL přesnosti 45,2 %"?
HarnessSQL trénuje osmimiliardový model v prostředí, v němž může pracovat s databází; jeho skóre na Spider 2.0 SQLite podle zpráv vzrostlo z 15,5 % na 45,2 %.
What are the key points to validate first?
HarnessSQL trénuje osmimiliardový model v prostředí, v němž může pracovat s databází; jeho skóre na Spider 2.0 SQLite podle zpráv vzrostlo z 15,5 % na 45,2 %. Agent nemusí vytvořit dotaz napoprvé: může si prohlédnout tabulky a jejich strukturu, spustit SQL a podle výsledku upravit další postup.
What should I do next in practice?
Metoda kombinuje dolaďování na záznamech interakcí s posilovacím učením, které zohledňuje výsledek vykonaného dotazu.
Sources
aigc.newsLive Signals - AIGC.NEWS
pandaily.comHarnessSQL Uses DeepSeek Harness to Lift an 8B Model to 45.2% on Spider 2.0-SQLite
arxiv.orgHarnessSQL: Harness-Native Training for SQL Agents in Realistic Database Environments
deepseek.comDeepSeek Harness | Explore the limits of intelligence