JawabanDipublikasikan20 sumber
Model AI 8B Raih Akurasi 45,2% dengan Belajar Langsung di Lingkungan Database
HarnessSQL melatih agen SQL di lingkungan database yang menyerupai tempat model akan bekerja; skor model 8B dilaporkan naik dari 15,5% menjadi 45,2% pada Spider 2.0 SQLite. Agen dapat memeriksa tabel dan skema, menjalankan kueri, lalu memakai hasil atau pesan kesalahan untuk menentukan langkah berikutnya.
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- HarnessSQL melatih agen SQL di lingkungan database yang menyerupai tempat model akan bekerja; skor model 8B dilaporkan naik dari 15,5% menjadi 45,2% pada Spider 2.0 SQLite.
- Agen dapat memeriksa tabel dan skema, menjalankan kueri, lalu memakai hasil atau pesan kesalahan untuk menentukan langkah berikutnya.
- Metodenya memadukan supervised fine tuning pada rangkaian interaksi dengan reinforcement learning berbasis umpan balik eksekusi.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: How does HarnessSQL, developed by HKUST and described as a collaboration with Microsoft researchers in an October 2026 arXiv paper covered b. Article summary: HarnessSQL’s central idea is to train a SQL agent inside the same execution environment it will use at deployment, rather than train it only to generate a final SQL statement from a question and schema. The available evi. Topic tags: general, academic, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
Salah satu tantangan model AI yang menerjemahkan pertanyaan menjadi SQL adalah bahwa tugas sebenarnya jarang berhenti pada menulis satu kueri. Agen mungkin perlu mencari tahu tabel apa yang tersedia, memeriksa struktur kolom, menjalankan kueri percobaan, lalu memperbaiki pendekatannya berdasarkan hasil atau pesan kesalahan.
HarnessSQL dirancang untuk melatih model dalam alur kerja seperti itu. Dalam laporan yang tersedia, model 8B yang dilatih dengan metode ini meraih akurasi 45,2% pada benchmark Spider 2.0-SQLite, naik dari angka dasar yang dilaporkan sebesar 15,5%. 8
9
Dari menebak kueri ke berinteraksi dengan database
Model text-to-SQL biasa sering menerima pertanyaan dan skema database, lalu diminta langsung menghasilkan satu kueri. Agen database memiliki ruang gerak lebih luas: ia dapat menelusuri tabel, melihat skema, mengeksekusi kueri, dan menggunakan respons database untuk memutuskan tindakan berikutnya.
HarnessSQL melatih model untuk menjalani proses interaktif ini, bukan hanya meniru pasangan pertanyaan dan jawaban berupa kueri. Kerangka ini mempertahankan lingkungan eksekusi saat supervised fine-tuning maupun reinforcement learning, sehingga pola latihan lebih selaras dengan cara agen digunakan. 17
25
HarnessSQL dibangun dengan mengadaptasi DeepSeek Harness, kerangka kerja agen sumber terbuka yang mendukung plugin modular, untuk tugas database. 9
10
13 Antarmuka khusus SQL-nya mencakup tindakan seperti melihat daftar tabel, memeriksa skema, dan menjalankan kueri. Laporan yang tersedia juga menyebut pembatasan eksekusi hanya-baca, satu pernyataan SQL, serta batas waktu 60 detik.
28
Berlatih lewat rangkaian aksi dan umpan balik
Dalam pendekatan ini, model berlatih di lingkungan database terisolasi yang menyediakan skema, eksekusi kueri, dan umpan balik saat program berjalan. Repositori proyek menjelaskan bahwa data Spider 2.0-DBT dikonversi dari DuckDB ke SQLite, lalu data SQLite dari Spider 2.0-Lite dan DBT digunakan untuk membangun tugas SQL yang dapat dieksekusi. 5
25
Alih-alih hanya belajar dari contoh pertanyaan dan kueri yang terpisah, model dilatih menggunakan rangkaian interaksi: tindakan yang dilakukan agen dan respons database setelahnya. Makalahnya menjelaskan penggunaan supervised fine-tuning, yang kemudian dilanjutkan dengan reinforcement learning berbasis imbalan dari hasil eksekusi. 4
17
25
Artinya, model tidak hanya berlatih menyusun teks SQL. Ia juga berlatih mengumpulkan informasi dari database dan merespons hasil eksekusi—kemampuan yang dibutuhkan dalam alur kerja agen yang menggunakan alat.
Apa arti skor benchmark tersebut?
Pada Spider 2.0-SQLite, skor model 8B yang dilatih dengan HarnessSQL dilaporkan mencapai 45,2%, dibandingkan angka dasar 15,5%. 8
9 Laporan lain menyebut model 14B meraih 54,8%.
2 Sebagai pembanding, laporan yang sama mencantumkan skor 14,8% untuk OmniSQL-32B dan 16,3% untuk Arctic-Text2SQL-32B pada benchmark tersebut.
2
Hasil ini mengindikasikan bahwa cara model dilatih untuk menggunakan lingkungan eksekusi dapat berpengaruh besar pada benchmark ini. Namun, angka tersebut tidak membuktikan bahwa model yang lebih kecil selalu mengungguli model besar pada semua jenis pekerjaan SQL. Hasil bisa berbeda tergantung benchmark, konfigurasi, dan model pembanding yang digunakan.
Batas informasi yang tersedia
Cuplikan sumber yang tersedia belum cukup untuk memeriksa secara mandiri seluruh rincian eksperimen, termasuk semua definisi alat, rata-rata panjang rangkaian interaksi, analisis ablation, serta perbandingan di LiveSQLBench. Karena itu, rincian tersebut tidak dapat dipastikan di sini.
Repositori proyek menyediakan kode untuk proses pembuatan data dan pelatihan, sedangkan makalahnya menjelaskan pendekatan pelatihan yang mempertahankan interaksi dengan lingkungan eksekusi. 5
17
25
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Model AI 8B Raih Akurasi 45,2% dengan Belajar Langsung di Lingkungan Database"?
HarnessSQL melatih agen SQL di lingkungan database yang menyerupai tempat model akan bekerja; skor model 8B dilaporkan naik dari 15,5% menjadi 45,2% pada Spider 2.0 SQLite.
Apa poin penting yang harus divalidasi terlebih dahulu?
HarnessSQL melatih agen SQL di lingkungan database yang menyerupai tempat model akan bekerja; skor model 8B dilaporkan naik dari 15,5% menjadi 45,2% pada Spider 2.0 SQLite. Agen dapat memeriksa tabel dan skema, menjalankan kueri, lalu memakai hasil atau pesan kesalahan untuk menentukan langkah berikutnya.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Metodenya memadukan supervised fine tuning pada rangkaian interaksi dengan reinforcement learning berbasis umpan balik eksekusi.
Sumber
aigc.newsLive Signals - AIGC.NEWS
pandaily.comHarnessSQL Uses DeepSeek Harness to Lift an 8B Model to 45.2% on Spider 2.0-SQLite
arxiv.orgHarnessSQL: Harness-Native Training for SQL Agents in Realistic Database Environments
deepseek.comDeepSeek Harness | Explore the limits of intelligence