AnswersPublished20 sources
Mindre AI-model klarer sig markant bedre med træning i et databaseværktøj
HarnessSQL træner en 8B SQL agent i et eksekverbart databasemiljø. På Spider 2.0 SQLite steg modellens rapporterede resultat fra 15,5 % til 45,2 %.
Udgivet afRedigeret med GPT-6 LunaBilleder genereret med GPT Image 2
Research answer
Key takeaways
- HarnessSQL træner en 8B SQL agent i et eksekverbart databasemiljø. På Spider 2.0 SQLite steg modellens rapporterede resultat fra 15,5 % til 45,2 %.
- Agenten kan undersøge tabeller og skemaer, køre SQL forespørgsler og bruge resultater eller fejl til at justere sit næste forsøg.
- Metoden kombinerer superviseret finjustering på forløb med flere trin og forstærkningslæring baseret på feedback fra forespørgslerne.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does HarnessSQL, developed by HKUST and described as a collaboration with Microsoft researchers in an October 2026 arXiv paper covered b. Article summary: HarnessSQL’s central idea is to train a SQL agent inside the same execution environment it will use at deployment, rather than train it only to generate a final SQL statement from a question and schema. The available evi. Topic tags: general, academic, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
HarnessSQL bygger på en enkel idé: En model, der skal svare på spørgsmål om databaser, bør træne i et miljø, hvor den faktisk kan undersøge og bruge databasen. I stedet for kun at lære at omsætte et spørgsmål til én færdig SQL-forespørgsel får modellen mulighed for at undersøge tabeller, køre forespørgsler og lære af de svar eller fejl, der kommer tilbage.
Ifølge rapporter steg en 8B-models resultat på benchmarken Spider 2.0-SQLite fra 15,5 % til 45,2 % efter træning med HarnessSQL. 8
9
Fra ét gæt til en arbejdsgang i flere trin
En traditionel tekst-til-SQL-model får typisk et spørgsmål og et skema — en beskrivelse af databasens tabeller og felter — og forsøger derefter at skrive en forespørgsel med det samme. En agent med adgang til en database kan i stedet først undersøge, hvilke tabeller der findes, se nærmere på deres struktur og afprøve en forespørgsel. Hvis den får et uventet resultat eller en fejl, kan den bruge tilbagemeldingen til at prøve igen.
HarnessSQL er udviklet til at træne modellen i netop den slags interaktive arbejdsgang. Træningsmiljøet følger med under både den superviserede finjustering og forstærkningslæringen. 17
25
Et særligt værktøj til SQL-opgaver
HarnessSQL bygger videre på DeepSeek Harness, en open source-ramme til AI-agenter, hvor funktioner kan sættes sammen som moduler. 9
10
13 Forskerne har tilpasset den til databasearbejde med værktøjer, der blandt andet kan vise tilgængelige tabeller, undersøge skemaer og udføre forespørgsler.
28
Ifølge den beskrevne opsætning foregår kørslen i skrivebeskyttet tilstand, med én SQL-sætning ad gangen og en tidsgrænse på 60 sekunder. 28 Projektets kode beskriver også en arbejdsgang, hvor databaser fra Spider 2.0-DBT konverteres fra DuckDB til SQLite, og hvor data fra Spider 2.0-Lite og DBT bruges til at bygge eksekverbare SQL-opgaver.
5
Modellen træner på hele forløb
I stedet for kun at træne på isolerede par af spørgsmål og SQL-svar bevarer metoden forløbene mellem agenten og databasen. Modellen lærer dermed af rækkefølgen af handlinger og de svar, databasen giver undervejs. Artiklen beskriver først superviseret finjustering og derefter forstærkningslæring, hvor udførelsen af forespørgsler indgår som feedback. 4
17
25
Det betyder, at modellen øver sig på den samme type værktøjsbaserede proces, som den møder, når den skal besvare spørgsmål ud fra en database. Den skal ikke blot efterligne en SQL-streng, men også indsamle oplysninger og reagere på, hvad databasen fortæller den.
Hvad benchmarkresultaterne viser
På Spider 2.0-SQLite nåede den HarnessSQL-trænede 8B-model ifølge rapporteringen 45,2 %, mod et rapporteret udgangspunkt på 15,5 %. 8
9 En separat rapport angiver et resultat på 54,8 % for en 14B-model.
2 Den samme omtale angiver 14,8 % for OmniSQL-32B og 16,3 % for Arctic-Text2SQL-32B på benchmarken.
2
Tallene peger på, at træning i et miljø med adgang til databaseværktøjer kan gøre en stor forskel på denne test. De viser ikke i sig selv, at mindre modeller generelt er bedre end større modeller til alle SQL-opgaver: Resultater afhænger blandt andet af benchmarken og den konkrete opsætning.
Hvad der endnu ikke er bekræftet her
De tilgængelige kildeuddrag giver ikke grundlag for selvstændigt at kontrollere alle detaljer om forsøgene — herunder alle værktøjsdefinitioner, gennemsnitlige forløbslængder, fulde ablationstests og sammenligninger på LiveSQLBench. Derfor gengives de detaljer ikke som fastslåede resultater her.
Projektets GitHub-repository beskriver kode til blandt andet datagenerering og træningsforløb, mens forskningsartiklen forklarer den overordnede metode med træning direkte i agentens eksekveringsmiljø. 5
17
25
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Mindre AI-model klarer sig markant bedre med træning i et databaseværktøj"?
HarnessSQL træner en 8B SQL agent i et eksekverbart databasemiljø. På Spider 2.0 SQLite steg modellens rapporterede resultat fra 15,5 % til 45,2 %.
What are the key points to validate first?
HarnessSQL træner en 8B SQL agent i et eksekverbart databasemiljø. På Spider 2.0 SQLite steg modellens rapporterede resultat fra 15,5 % til 45,2 %. Agenten kan undersøge tabeller og skemaer, køre SQL forespørgsler og bruge resultater eller fejl til at justere sit næste forsøg.
What should I do next in practice?
Metoden kombinerer superviseret finjustering på forløb med flere trin og forstærkningslæring baseret på feedback fra forespørgslerne.
Sources
aigc.newsLive Signals - AIGC.NEWS
pandaily.comHarnessSQL Uses DeepSeek Harness to Lift an 8B Model to 45.2% on Spider 2.0-SQLite
arxiv.orgHarnessSQL: Harness-Native Training for SQL Agents in Realistic Database Environments
deepseek.comDeepSeek Harness | Explore the limits of intelligence