ОтветыОпубликовано20 источники
Меньше параметров — больше практики: как HarnessSQL обучает SQL-агентов
HarnessSQL обучает модель работать в интерактивной среде базы данных; заявленный результат модели с 8 млрд параметров на Spider 2.0 SQLite вырос с 15,5% до 45,2%. Агент может изучать таблицы и схемы, выполнять запросы и использовать результат или сообщение об ошибке, чтобы скорректировать следующий шаг.
ОпубликовалОтредактировано с помощью GPT-6 LunaИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- HarnessSQL обучает модель работать в интерактивной среде базы данных; заявленный результат модели с 8 млрд параметров на Spider 2.0 SQLite вырос с 15,5% до 45,2%.
- Агент может изучать таблицы и схемы, выполнять запросы и использовать результат или сообщение об ошибке, чтобы скорректировать следующий шаг.
- Подход сочетает дообучение на последовательностях взаимодействий с базой и обучение с подкреплением, учитывающим результат выполнения запросов.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: How does HarnessSQL, developed by HKUST and described as a collaboration with Microsoft researchers in an October 2026 arXiv paper covered b. Article summary: HarnessSQL’s central idea is to train a SQL agent inside the same execution environment it will use at deployment, rather than train it only to generate a final SQL statement from a question and schema. The available evi. Topic tags: general, academic, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
Главная идея HarnessSQL — учить текстовую модель работать с базой данных так, как ей предстоит делать это на практике: не просто выдавать один готовый SQL-запрос, а изучать таблицы, проверять схему, выполнять запросы и реагировать на результаты. По опубликованным данным, после такого обучения показатель модели с 8 млрд параметров на тесте Spider 2.0-SQLite вырос с 15,5% до 45,2%. 8
9
От разового ответа — к работе с базой
Классическая модель Text-to-SQL получает вопрос и описание схемы, а затем сразу формирует запрос. SQL-агент может действовать иначе: сначала выяснить, какие таблицы доступны, посмотреть их структуру, выполнить пробный запрос и при необходимости изменить подход с учётом полученного результата или ошибки.
HarnessSQL строит обучение вокруг такого интерактивного цикла. Для этого исследователи адаптировали открытый фреймворк DeepSeek Harness — среду для агентных систем, которую можно расширять подключаемыми компонентами, — под задачи работы с базами данных. 9
10
13 Интерфейс включает действия для просмотра таблиц и схем, а также выполнения запросов. В описании реализации также указаны режим только для чтения, ограничение одним SQL-выражением и тайм-аут в 60 секунд.
11
28
Обучение в исполняемой среде
Вместо обучения только на отдельных парах «вопрос — правильный запрос» HarnessSQL использует изолированные среды с реальными схемами, исполнением SQL и обратной связью во время работы. Репозиторий проекта описывает преобразование баз Spider 2.0-DBT из DuckDB в SQLite и подготовку исполняемых задач на основе данных Spider 2.0-Lite и DBT. 5
25
Модель обучается на последовательностях действий и ответов базы данных — так называемых траекториях взаимодействия. В работе описаны два этапа: контролируемое дообучение на таких траекториях, а затем обучение с подкреплением, где учитывается результат исполнения запроса. 17
25
Такой подход помогает модели освоить не только написание SQL, но и сам процесс работы с инструментом: собрать нужную информацию, проверить предположение и использовать обратную связь от базы.
Что показывают результаты
На Spider 2.0-SQLite для модели с 8 млрд параметров приводится результат 45,2% против базовых 15,5%. 8
9 В публикациях также указан результат 54,8% для модели с 14 млрд параметров.
2 Для сравнения, в одном из обзоров приводятся показатели 14,8% у OmniSQL-32B и 16,3% у Arctic-Text2SQL-32B на том же тесте.
2
Это заметный результат на конкретном бенчмарке, но он сам по себе не означает, что небольшие модели всегда превосходят крупные. Сравнение зависит от теста, условий эксперимента и выбранных моделей.
Что пока нельзя проверить по доступным данным
Опубликованные выдержки не позволяют независимо подтвердить все подробности экспериментов — например, полный перечень инструментов, некоторые параметры обучающих траекторий, результаты отдельных абляций и сравнения на LiveSQLBench. Поэтому эти цифры не следует считать проверенными в рамках доступных материалов.
Исходный код проекта опубликован на GitHub; в репозитории описаны генерация данных и задачи, работа с траекториями DSH-SQL, а также этапы дообучения и обучения с подкреплением. 5 В целом HarnessSQL показывает, что для многошаговой работы с базами важно обучать модель именно тому способу взаимодействия с инструментами, который будет использоваться во время выполнения.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Меньше параметров — больше практики: как HarnessSQL обучает SQL-агентов»?
HarnessSQL обучает модель работать в интерактивной среде базы данных; заявленный результат модели с 8 млрд параметров на Spider 2.0 SQLite вырос с 15,5% до 45,2%.
Какие ключевые моменты необходимо проверить в первую очередь?
HarnessSQL обучает модель работать в интерактивной среде базы данных; заявленный результат модели с 8 млрд параметров на Spider 2.0 SQLite вырос с 15,5% до 45,2%. Агент может изучать таблицы и схемы, выполнять запросы и использовать результат или сообщение об ошибке, чтобы скорректировать следующий шаг.
Что мне делать дальше на практике?
Подход сочетает дообучение на последовательностях взаимодействий с базой и обучение с подкреплением, учитывающим результат выполнения запросов.