AnswersPublished20 sources
Mniejszy model, lepszy wynik? HarnessSQL uczy AI pracy z bazą danych
HarnessSQL trenuje model w środowisku bazy danych, z którego agent korzysta podczas wykonywania zadań; raportowany wynik modelu 8B na Spider 2.0 SQLite wzrósł z 15,5% do 45,2%. Agent może sprawdzać dostępne tabele i ich schematy, wykonywać zapytania oraz wykorzystywać wyniki lub błędy, by zdecydować, co zrobić dalej.
Opublikowane przezEdytowane za pomocą GPT-6 LunaObrazy wygenerowane za pomocą GPT Image 2
Research answer
Key takeaways
- HarnessSQL trenuje model w środowisku bazy danych, z którego agent korzysta podczas wykonywania zadań; raportowany wynik modelu 8B na Spider 2.0 SQLite wzrósł z 15,5% do 45,2%.
- Agent może sprawdzać dostępne tabele i ich schematy, wykonywać zapytania oraz wykorzystywać wyniki lub błędy, by zdecydować, co zrobić dalej.
- Metoda łączy dostrajanie nadzorowane na sekwencjach interakcji z uczeniem ze wzmocnieniem wykorzystującym informację zwrotną z wykonania zapytań.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does HarnessSQL, developed by HKUST and described as a collaboration with Microsoft researchers in an October 2026 arXiv paper covered b. Article summary: HarnessSQL’s central idea is to train a SQL agent inside the same execution environment it will use at deployment, rather than train it only to generate a final SQL statement from a question and schema. The available evi. Topic tags: general, academic, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
W typowym podejściu do text-to-SQL model dostaje pytanie i opis bazy, po czym ma od razu wygenerować gotowe zapytanie. HarnessSQL proponuje inny sposób nauki: agent ćwiczy pracę w środowisku, w którym może sprawdzić tabele, zajrzeć do ich struktury, uruchomić zapytanie i skorygować je po otrzymaniu wyniku albo komunikatu o błędzie. 17
25
Według opublikowanych wyników model z 8 mld parametrów osiągnął na benchmarku Spider 2.0-SQLite 45,2%, wobec raportowanego wyniku bazowego 15,5%. 8
9 To obiecujący rezultat dla zadań wymagających kilku kroków, ale sam w sobie nie dowodzi, że mniejsze modele będą lepsze w każdym zastosowaniu SQL.
Agent nie musi zgadywać za pierwszym razem
Zapytanie do bazy danych często wymaga czegoś więcej niż przełożenia pytania na pojedynczą instrukcję SQL. Trzeba ustalić, które tabele są dostępne, sprawdzić nazwy i typy kolumn, a czasem wykonać próbne zapytanie. Dopiero odpowiedź bazy pozwala ocenić, czy obrany kierunek jest właściwy.
Właśnie taki wieloetapowy tryb pracy ma odzwierciedlać HarnessSQL. Projekt wykorzystuje DeepSeek Harness — otwartoźródłowy, modułowy zestaw narzędzi do budowania agentów — i dostosowuje go do zadań bazodanowych. 9
10
13 Interfejs DSH-SQL pozwala między innymi wyświetlać tabele, sprawdzać schematy i uruchamiać zapytania.
28
Według opisu konfiguracji wykonanie jest ograniczone do operacji tylko do odczytu i pojedynczej instrukcji, a zapytanie ma limit czasu wynoszący 60 sekund. 28 To ważne, bo agent pracuje z rzeczywistym wykonaniem SQL, a nie tylko z tekstowym przykładem odpowiedzi.
Nauka przez pełne sekwencje działań
Badacze opisują odizolowane, wykonywalne środowiska bazodanowe, które udostępniają schematy, uruchamianie zapytań i informację zwrotną z ich wykonania. 17
25 Repozytorium projektu podaje, że bazy Spider 2.0-DBT są konwertowane z DuckDB do SQLite, a zadania wykonywalne powstają z danych Spider 2.0-Lite i zbiorów pochodzących z DBT.
5
Trening obejmuje sekwencje interakcji: działania modelu oraz odpowiedzi narzędzi i bazy. Najpierw stosowane jest dostrajanie nadzorowane, a następnie uczenie ze wzmocnieniem, w którym nagroda zależy od wykonania zapytania. 4
17
25
Różnica polega więc nie tylko na tym, że model ma dostęp do narzędzi. Ćwiczy w podobnym cyklu, jaki napotka przy rozwiązywaniu zadania: zbiera informacje, wykonuje zapytanie i korzysta z otrzymanej odpowiedzi, zamiast odtwarzać wyłącznie gotowy ciąg SQL.
Co mówią wyniki benchmarku
Na Spider 2.0-SQLite model 8B trenowany z HarnessSQL uzyskał raportowane 45,2%, przy wyniku bazowym 15,5%. 8
9 Osobne omówienie podaje 54,8% dla modelu 14B.
2 To samo źródło przytacza wyniki 14,8% dla OmniSQL-32B oraz 16,3% dla Arctic-Text2SQL-32B na tym benchmarku.
2
Dane sugerują, że sposób trenowania agenta i jego przygotowanie do korzystania z narzędzi mogą mieć duże znaczenie w zadaniach wieloetapowych. Nie należy jednak traktować tych liczb jako dowodu, że model 8B zawsze przewyższy większe modele: wyniki zależą od benchmarku, konfiguracji i porównywanych systemów.
Czego nie da się potwierdzić na podstawie dostępnych opisów
Dostępne fragmenty źródeł nie pozwalają niezależnie zweryfikować wszystkich szczegółów eksperymentu — między innymi pełnych wyników testów porównawczych, szczegółowych analiz ablation ani wszystkich parametrów trajektorii treningowych. Warto więc oddzielić raportowane główne wyniki od danych, których te opisy nie dokumentują wystarczająco szczegółowo.
Kod projektu jest dostępny w repozytorium GitHub. Obejmuje między innymi przygotowanie danych oraz potoki generowania trajektorii, dostrajania nadzorowanego i uczenia ze wzmocnieniem. 5 Główna idea HarnessSQL jest prosta: jeśli agent ma korzystać z narzędzi podczas pracy, warto nauczyć go tego samego sposobu działania już na etapie treningu.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Mniejszy model, lepszy wynik? HarnessSQL uczy AI pracy z bazą danych"?
HarnessSQL trenuje model w środowisku bazy danych, z którego agent korzysta podczas wykonywania zadań; raportowany wynik modelu 8B na Spider 2.0 SQLite wzrósł z 15,5% do 45,2%.
What are the key points to validate first?
HarnessSQL trenuje model w środowisku bazy danych, z którego agent korzysta podczas wykonywania zadań; raportowany wynik modelu 8B na Spider 2.0 SQLite wzrósł z 15,5% do 45,2%. Agent może sprawdzać dostępne tabele i ich schematy, wykonywać zapytania oraz wykorzystywać wyniki lub błędy, by zdecydować, co zrobić dalej.
What should I do next in practice?
Metoda łączy dostrajanie nadzorowane na sekwencjach interakcji z uczeniem ze wzmocnieniem wykorzystującym informację zwrotną z wykonania zapytań.
Sources
arxiv.orgHarnessSQL: Harness-Native Training for SQL Agents in Realistic Database Environments
aigc.newsLive Signals - AIGC.NEWS
pandaily.comHarnessSQL Uses DeepSeek Harness to Lift an 8B Model to 45.2% on Spider 2.0-SQLite
deepseek.comDeepSeek Harness | Explore the limits of intelligence