AnswersPublished20 sources
Een kleiner AI-model leert SQL door databases echt te gebruiken
HarnessSQL traint een 8B SQL agent in een uitvoerbare databaseomgeving. De gerapporteerde score op Spider 2.0 SQLite steeg van 15,5% naar 45,2%.
Gepubliceerd doorBewerkt met GPT-6 LunaAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- HarnessSQL traint een 8B SQL agent in een uitvoerbare databaseomgeving. De gerapporteerde score op Spider 2.0 SQLite steeg van 15,5% naar 45,2%.
- In plaats van in één keer een query te schrijven, kan de agent tabellen en schema’s bekijken, SQL uitvoeren en feedback gebruiken om de aanpak bij te stellen.
- De methode combineert supervised fine tuning op interactietrajecten met reinforcement learning op basis van uitvoeringsfeedback.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does HarnessSQL, developed by HKUST and described as a collaboration with Microsoft researchers in an October 2026 arXiv paper covered b. Article summary: HarnessSQL’s central idea is to train a SQL agent inside the same execution environment it will use at deployment, rather than train it only to generate a final SQL statement from a question and schema. The available evi. Topic tags: general, academic, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
Een AI-model dat SQL schrijft, moet soms meer doen dan een vraag omzetten in één query. Het moet ook kunnen uitzoeken welke tabellen relevant zijn, een query uitvoeren en begrijpen wat een foutmelding betekent. HarnessSQL is opgezet om modellen precies die werkwijze te leren. Volgens gerapporteerde resultaten steeg de score van een 8B-model op Spider 2.0-SQLite van 15,5% naar 45,2%. 8
9
Van één query naar een werkende aanpak
Bij een klassieke text-to-SQL-aanpak krijgt het model een vraag en een databaseschema, waarna het meteen een query probeert te schrijven. Een database-agent kan daarentegen eerst tabellen en kolommen bekijken, een query uitvoeren en op basis van het resultaat of een foutmelding een volgende stap kiezen.
HarnessSQL traint voor die interactieve werkwijze: de uitvoerbare databaseomgeving blijft onderdeel van zowel de supervised fine-tuning als de reinforcement learning. 17
25
Het systeem bouwt voort op DeepSeek Harness, een open-source raamwerk voor AI-agenten dat met verwisselbare plug-ins werkt, en past dat aan voor SQL-taken. 9
10
13 De SQL-omgeving biedt acties zoals tabellen opvragen, schema’s inspecteren en queries uitvoeren. De beschreven opzet beperkt de uitvoering bovendien tot alleen-lezen, één statement per keer en een maximale looptijd van 60 seconden.
28
Oefenen in een uitvoerbare databaseomgeving
De onderzoekers beschrijven geïsoleerde databaseomgevingen waarin de agent schema’s kan bekijken, queries kan uitvoeren en feedback uit de runtime krijgt. Volgens de projectrepository zet de implementatie databases uit Spider 2.0-DBT om van DuckDB naar SQLite. Ook gebruikt het project SQLite-data uit Spider 2.0-Lite en DBT-afgeleide datasets om uitvoerbare SQL-taken samen te stellen. 5
25
De training bewaart volledige interactietrajecten: het model leert van reeksen acties en reacties uit de database, in plaats van alleen van losse combinaties van een vraag en een query. De paper beschrijft eerst supervised fine-tuning en daarna reinforcement learning waarbij de uitvoering van SQL-query’s als beloning dient. 4
17
25
Dat is relevant omdat het model zo oefent met dezelfde soort gereedschappen en terugkoppeling die het tijdens het beantwoorden van databasevragen kan tegenkomen. Het leert niet alleen een SQL-string na te bootsen, maar ook informatie te verzamelen en op uitvoeringsresultaten te reageren.
Wat de benchmarkresultaten laten zien
Op Spider 2.0-SQLite behaalde het met HarnessSQL getrainde 8B-model volgens de berichtgeving 45,2%, tegenover een gerapporteerde uitgangsscore van 15,5%. 8
9 Een apart bericht noemt 54,8% voor een 14B-model.
2 In dezelfde berichtgeving worden scores van 14,8% voor OmniSQL-32B en 16,3% voor Arctic-Text2SQL-32B op Spider 2.0-SQLite aangehaald.
2
De cijfers wijzen erop dat training in de uitvoeringsomgeving op deze benchmark een groot verschil kan maken. Ze bewijzen niet dat een kleiner model op alle SQL-taken beter presteert dan grotere modellen: resultaten hangen af van de benchmark, de opzet en de gebruikte vergelijking.
Wat nog niet onafhankelijk is bevestigd
De beschikbare bronfragmenten bevatten onvoldoende details om alle experimentele cijfers zelfstandig te controleren. Dat geldt onder meer voor de volledige specificaties van de vier tools, gemiddelde lengtes van interactietrajecten, uitgebreide ablaties en vergelijkingen op LiveSQLBench. Die details laten we daarom hier buiten beschouwing.
De projectrepository biedt code voor de datageneratie en trainingspipeline; de paper beschrijft de bredere aanpak waarbij training aansluit op de agentomgeving. 5
17
25
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Een kleiner AI-model leert SQL door databases echt te gebruiken"?
HarnessSQL traint een 8B SQL agent in een uitvoerbare databaseomgeving. De gerapporteerde score op Spider 2.0 SQLite steeg van 15,5% naar 45,2%.
What are the key points to validate first?
HarnessSQL traint een 8B SQL agent in een uitvoerbare databaseomgeving. De gerapporteerde score op Spider 2.0 SQLite steeg van 15,5% naar 45,2%. In plaats van in één keer een query te schrijven, kan de agent tabellen en schema’s bekijken, SQL uitvoeren en feedback gebruiken om de aanpak bij te stellen.
What should I do next in practice?
De methode combineert supervised fine tuning op interactietrajecten met reinforcement learning op basis van uitvoeringsfeedback.
Sources
aigc.newsLive Signals - AIGC.NEWS
pandaily.comHarnessSQL Uses DeepSeek Harness to Lift an 8B Model to 45.2% on Spider 2.0-SQLite
arxiv.orgHarnessSQL: Harness-Native Training for SQL Agents in Realistic Database Environments
deepseek.comDeepSeek Harness | Explore the limits of intelligence