답변게시됨3시간 전Last edited 3시간 전20 소스

실행하며 배우는 SQL 에이전트…HarnessSQL이 8B 모델 성능을 끌어올린 방식

HarnessSQL은 8B 모델을 실행 가능한 데이터베이스 환경에서 훈련해 Spider 2.0 SQLite 점수를 15.5%에서 45.2%로 높였다고 보고됐습니다. 에이전트는 테이블과 스키마를 살펴보고 SQL을 실행한 뒤, 결과나 오류를 참고해 다음 시도를 정할 수 있습니다.

게시자GPT-6 Luna로 편집GPT Image 2로 이미지 생성

Studio Global AI로 검색 및 팩트체크 인기 페이지 더 보기

연구 답변

주요 시사점

HarnessSQL은 8B 모델을 실행 가능한 데이터베이스 환경에서 훈련해 Spider 2.0 SQLite 점수를 15.5%에서 45.2%로 높였다고 보고됐습니다.
에이전트는 테이블과 스키마를 살펴보고 SQL을 실행한 뒤, 결과나 오류를 참고해 다음 시도를 정할 수 있습니다.
훈련에는 상호작용 과정을 담은 지도 미세조정과 실행 결과에 보상을 주는 강화학습이 활용됩니다. [4][17][25]

Illustration representing an AI agent interacting with a database through a SQL execution environment — How does HarnessSQL, developed by HKUST and described as a collaboration with Microsoft researchers in an October 2026 arXiv paper covered bIllustrative image of an AI agent working with a database execution environment.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: How does HarnessSQL, developed by HKUST and described as a collaboration with Microsoft researchers in an October 2026 arXiv paper covered b. Article summary: HarnessSQL’s central idea is to train a SQL agent inside the same execution environment it will use at deployment, rather than train it only to generate a final SQL statement from a question and schema. The available evi. Topic tags: general, academic, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
openai.com

SQL을 다루는 AI가 데이터베이스에 질문 하나를 던져 쿼리를 바로 작성하는 것과, 테이블 구조를 확인하고 시험 삼아 쿼리를 실행한 뒤 오류를 고치는 것은 다른 능력입니다. HarnessSQL은 후자에 가까운 작업 방식을 모델 훈련 단계부터 익히게 하려는 프레임워크입니다.

보고된 결과에 따르면 HarnessSQL로 훈련한 8B 모델은 Spider 2.0-SQLite에서 45.2%를 기록했습니다. 비교 기준으로 제시된 점수는 15.5%입니다. 8 9 핵심은 모델 크기만 키우는 대신, 실제 사용 때 접할 실행 환경과 비슷한 조건에서 훈련했다는 데 있습니다.

쿼리를 쓰기 전에 데이터베이스를 살펴보게 한다

기존의 단일 단계 텍스트-SQL 방식은 자연어 질문과 스키마를 입력받아 쿼리 하나를 곧바로 생성합니다. 하지만 데이터베이스 에이전트는 테이블 목록이나 구조를 확인하고, 쿼리를 실행한 다음 결과 또는 오류를 보고 접근법을 바꿀 수 있습니다. HarnessSQL은 모델이 이런 여러 단계의 상호작용을 훈련 중에도 경험하도록 설계됐습니다. 17 25

이 프레임워크는 플러그인을 조합해 에이전트의 작업 환경을 구성하는 오픈소스 DeepSeek Harness를 바탕으로 데이터베이스 작업용 도구를 마련했습니다. 9 10 13 공개된 설명에는 테이블 목록 확인, 스키마 살펴보기, 쿼리 실행 같은 기능이 포함됩니다. 실행은 읽기 전용으로 제한하고, 단일 문장 규칙과 60초 시간 제한을 둔다는 설명도 있습니다. 28

실행 환경에서 상호작용 과정을 훈련

연구진은 스키마와 쿼리 실행, 실행 중 피드백을 제공하는 격리된 데이터베이스 환경을 구성했습니다. 논문은 이 환경에서 모델의 상호작용을 이어지는 행동 기록, 즉 궤적 형태로 다루며, 지도 미세조정(SFT) 뒤 실행 결과에 보상을 주는 강화학습(RL)을 적용한다고 설명합니다. 4 17 25

코드 저장소에는 Spider 2.0-DBT 데이터베이스를 DuckDB에서 SQLite로 변환하고, Spider 2.0-Lite 및 DBT 기반 SQLite 데이터로 실행 가능한 SQL 작업을 만드는 절차가 소개돼 있습니다. 5 다만 이 기사에서 인용한 자료만으로는 실험에 사용된 데이터베이스의 전체 구성이나 세부 학습 설정을 모두 확인할 수 없습니다.

이 방식의 의미는 모델이 정답 쿼리 문자열만 따라 쓰는 데 그치지 않는다는 점입니다. 데이터베이스에서 필요한 정보를 찾아보고, 실제 실행 결과에 맞춰 다음 행동을 고르는 흐름을 학습할 수 있습니다.

벤치마크 수치는 어디까지 말해 주나

Spider 2.0-SQLite에서 8B 모델의 점수는 15.5%에서 45.2%로 상승한 것으로 보도됐습니다. 8 9 별도 보도는 14B 모델의 점수를 54.8%로 제시했습니다. 2 같은 보도에 등장하는 비교 대상으로는 OmniSQL-32B의 14.8%, Arctic-Text2SQL-32B의 16.3%가 있습니다. 2

이 결과는 해당 벤치마크와 설정에서 실행 환경을 활용하도록 훈련하는 일이 성능에 큰 차이를 낼 수 있음을 시사합니다. 그렇다고 작은 모델이 모든 SQL 작업에서 더 큰 모델을 앞선다거나, 모델 규모가 중요하지 않다는 뜻은 아닙니다. 성능 비교는 벤치마크와 실험 조건에 따라 달라질 수 있습니다.

HarnessSQL의 구현 코드는 GitHub에 공개돼 있습니다. 5 다만 세부 실험 수치와 모든 비교 조건은 각 자료에서 확인할 수 있는 범위가 다르므로, 여기서는 보고된 주요 벤치마크 결과와 프레임워크의 작동 방식에 초점을 맞췄습니다.

Studio Global AI

연구를 계속하세요

이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.

Studio Global AI로 검색 및 팩트체크

사람들은 또한 묻습니다.