JawabanDipublikasikan21 sumber
GPT-6 Astra Ubah 0,016% Bobot Qwen dan Pangkas Masalah Penalaran Berulang
Peneliti melaporkan Astra mengubah 131.072 bobot—0,016% dari total bobot Qwen3.5 0.8B—dan menaikkan skornya di MATH 500 dari 7,9% menjadi 48,1%. Prosesnya melibatkan pemeriksaan berbantuan Python dan pengujian berulang.
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Peneliti melaporkan Astra mengubah 131.072 bobot—0,016% dari total bobot Qwen3.5 0.8B—dan menaikkan skornya di MATH 500 dari 7,9% menjadi 48,1%.
- Prosesnya melibatkan pemeriksaan berbantuan Python dan pengujian berulang. Salah satu laporan menyebut eksperimen berlangsung sekitar 20 jam, jadi “tanpa pelatihan” bukan berarti tanpa waktu atau komputasi.
- Checkpoint yang dirilis dan laporan pengujian ulang mendukung kemungkinan hasil matematika itu dapat direproduksi.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Peneliti MIT CSAIL Rikiya Takehi, Jayden Teoh, Alex Zhang, dan Omar Khattab melaporkan bahwa GPT-6 Astra membantu memperbaiki jaringan saraf lain dengan menganalisis dan mengubah bobotnya secara langsung. Dalam contoh yang paling banyak dibicarakan, Astra mengubah sebagian kecil bobot Qwen3.5-0.8B dan skor model itu di MATH-500 naik dari 7,9% menjadi 48,1%. Namun, angka tersebut paling tepat dipahami sebagai perbaikan atas masalah serius berupa penalaran berulang—bukan bukti bahwa Astra begitu saja menambahkan kemampuan matematika baru ke Qwen. 3
6
35
Apa yang dilakukan Astra?
Para peneliti menyebut pendekatan ini weight-space programming: meminta model bahasa membaca atau mengubah bobot numerik yang mengatur perilaku jaringan saraf lain, alih-alih memperbaruinya melalui pelatihan konvensional berbasis gradien. Dalam eksperimen Qwen, Astra dilaporkan mengubah 131.072 bobot, atau 0,016% dari seluruh bobot model. 6
33
Kenaikan skor MATH-500 yang dilaporkan cukup besar. Para peneliti juga menyebut peningkatan pada GSM8K dan IFEval, tetapi laporan yang tersedia belum menunjukkan replikasi independen atas kedua hasil tersebut. 35
42
Prosesnya pun bukan sekadar Astra mengedit bobot tanpa bantuan, sekali jalan. Sejumlah laporan menggambarkan penggunaan pemeriksaan berbantuan Python dan forward pass untuk mengamati perilaku Qwen sebelum perubahan dilakukan. Jadi, bobot memang diubah secara langsung, tetapi diagnosisnya melibatkan alat dan pengujian bertahap. 20
32
Sasaran perbaikan: kebiasaan mengulang penalaran
Diagnosis yang dilaporkan berfokus pada kecenderungan Qwen terjebak dalam loop penalaran yang berulang. Sebelum pengeditan, 93% jawaban Qwen di MATH-500 disebut mencapai batas keluaran eksperimen. Setelahnya, proporsi itu turun menjadi 33,1%. Para peneliti mengaitkan perbaikan tersebut dengan perubahan terarah pada komputasi internal model. 3
20
Penjelasan ini membantu menempatkan hasilnya dalam konteks. Pengeditan tampaknya membantu Qwen memanfaatkan kemampuan yang sudah dimilikinya dengan mengurangi satu masalah yang kerap menghalangi model menyelesaikan jawaban. Sebagai pembanding, pengujian terhadap Gemma 3 270M—model yang dilaporkan jauh lebih jarang terjebak dalam loop—tidak menghasilkan peningkatan matematika yang berarti. Perbedaan ini mendukung penjelasan bahwa Astra memperbaiki kelemahan tertentu, meski tidak membuktikan bahwa pengeditan bobot mustahil meningkatkan kemampuan lain. 35
“Tanpa pelatihan” bukan berarti tanpa usaha
Proses yang dilaporkan melibatkan interaksi dan pengujian berulang. Salah satu catatan menyebut eksperimen berlangsung sekitar 20 jam dengan 158 giliran percakapan. Laporan lain menjelaskan penggunaan sesi Python dan anggaran forward pass pada soal latihan. 20
32
Karena itu, “tanpa pelatihan” sebaiknya tidak diartikan sebagai “tanpa usaha atau komputasi”. Metode ini menghindari gradient descent dan putaran pelatihan konvensional, tetapi tetap membutuhkan eksperimen untuk menemukan sumber masalah dan menguji perbaikannya. Hasil yang dilaporkan juga belum menentukan berapa jumlah pengujian minimum yang selalu dibutuhkan agar pengeditan berhasil. 20
32
Seberapa kuat bukti yang tersedia?
Perbandingan skor sebelum dan sesudah memang mencolok, tetapi perlu dibaca sesuai cakupannya: hasil tersebut menunjukkan kinerja dalam pengujian yang dilaporkan, bukan dengan sendirinya membuktikan bahwa model memperoleh kemampuan penalaran baru secara luas. Penurunan frekuensi loop dan hasil pembanding pada Gemma lebih mengarah pada perbaikan kelemahan tertentu. 3
35
Ada materi yang dapat diperiksa pihak lain: checkpoint Qwen yang sudah diedit tersedia, dan sebuah pengujian ulang yang dilaporkan dari model tersebut mencapai 51,0% di MATH-500. Ini memberi dukungan bahwa skor matematika itu bisa direproduksi. Namun, mengulang pengujian pada checkpoint yang sudah diedit tidak sama dengan mengulang secara independen seluruh proses Astra menemukan dan membuat perubahan tersebut. 33
54
Laporan yang tersedia belum menunjukkan konfirmasi independen atas peningkatan GSM8K dan IFEval. Hasil Qwen dan Gemma juga belum membuktikan bahwa metode ini dapat diandalkan untuk meningkatkan model atau tugas apa pun. Para peneliti mengatakan sedang mengembangkan tolok ukur dan harness—perangkat untuk membantu pengujian—guna mengevaluasi dan mendukung eksplorasi bobot. Perangkat tersebut dapat membantu mengukur seberapa konsisten pendekatan ini, tetapi rencana pengembangannya belum menjadi bukti keberhasilan yang lebih luas. 16
35
42
Eksperimen lain adalah klaim yang berbeda
Para peneliti juga memaparkan eksperimen untuk menafsirkan jaringan dari bobotnya dan membuat jaringan yang dapat memainkan Breakout. Menurut laporan mereka, Astra menulis bobot jaringan Breakout dalam satu balasan, tanpa pelatihan atau alat, dan skornya 20 kali lebih tinggi daripada baseline PPO yang dilatih selama 500 juta langkah. Itu adalah klaim untuk permainan dan perbandingan tertentu, bukan bukti bahwa metode ini secara umum mengungguli reinforcement learning. 9
47
Contoh-contoh tersebut memperluas gagasan di balik weight-space programming, tetapi jangan disamakan dengan perbaikan Qwen. Eksperimen Qwen menggunakan diagnosis berbantuan alat, sedangkan contoh Breakout merupakan percobaan terpisah untuk membuat jaringan. 9
20
32
Kesimpulan yang paling hati-hati: ini adalah contoh awal yang menarik tentang AI membantu memperbaiki model melalui pengeditan parameter langsung. Angka yang dilaporkan patut dicermati dan materi yang dirilis membuka ruang pemeriksaan lebih lanjut. Namun, bukti sejauh ini masih lebih terbatas daripada klaim bahwa model bahasa dapat meningkatkan model lain dengan murah, konsisten, dan untuk berbagai keperluan. 16
33
35
54
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "GPT-6 Astra Ubah 0,016% Bobot Qwen dan Pangkas Masalah Penalaran Berulang"?
Peneliti melaporkan Astra mengubah 131.072 bobot—0,016% dari total bobot Qwen3.5 0.8B—dan menaikkan skornya di MATH 500 dari 7,9% menjadi 48,1%.
Apa poin penting yang harus divalidasi terlebih dahulu?
Peneliti melaporkan Astra mengubah 131.072 bobot—0,016% dari total bobot Qwen3.5 0.8B—dan menaikkan skornya di MATH 500 dari 7,9% menjadi 48,1%. Prosesnya melibatkan pemeriksaan berbantuan Python dan pengujian berulang. Salah satu laporan menyebut eksperimen berlangsung sekitar 20 jam, jadi “tanpa pelatihan” bukan berarti tanpa waktu atau komputasi.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Checkpoint yang dirilis dan laporan pengujian ulang mendukung kemungkinan hasil matematika itu dapat direproduksi.
Sumber
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev