AnswersPublished21 sources
GPT-6 Astra, Qwen’deki tekrarlayan düşünme döngülerini küçük bir ağırlık düzenlemesiyle hedef aldı
Araştırmacılar, Astra’nın Qwen3.5 0.8B’nin 131.072 ağırlığını, yani toplamın %0,016’sını değiştirdiğini ve MATH 500 puanının 7,9’dan 48,1’e yükseldiğini bildirdi. Deneyde Python tabanlı inceleme ve yinelemeli testler kullanıldı.
YayımlayanGPT-6 Luna ile düzenlendiGörseller GPT Image 2 ile oluşturuldu
Research answer
Key takeaways
- Araştırmacılar, Astra’nın Qwen3.5 0.8B’nin 131.072 ağırlığını, yani toplamın %0,016’sını değiştirdiğini ve MATH 500 puanının 7,9’dan 48,1’e yükseldiğini bildirdi.
- Deneyde Python tabanlı inceleme ve yinelemeli testler kullanıldı. Bir çalışmanın yaklaşık 20 saat sürdüğü bildirildi; dolayısıyla “eğitim yapmadan” ifadesi, sürecin zahmetsiz ya da hesaplama gerektirmeyen bir işlem ol...
- Düzenlenmiş model için paylaşılan kontrol noktası ve MATH 500 tekrar testi sonucu, matematik puanının yeniden elde edilebildiğine dair bir miktar destek sunuyor.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
MIT Bilgisayar Bilimi ve Yapay Zekâ Laboratuvarı’ndan (MIT CSAIL) Rikiya Takehi, Jayden Teoh, Alex Zhang ve Omar Khattab, GPT-6 Astra’nın başka bir sinir ağının parametrelerini inceleyip doğrudan düzenleyerek ona yardımcı olabildiğini bildirdi. En dikkat çekici örnekte Astra, Qwen3.5-0.8B’nin ağırlıklarının küçük bir bölümünü değiştirdi; MATH-500 puanı %7,9’dan %48,1’e çıktı. Bu sonucu temkinli okumak gerekiyor: Bulgular, Astra’nın modele doğrudan matematik yeteneği eklediğinden çok, Qwen’in tekrarlayan düşünme döngülerini hedef almış olabileceğine işaret ediyor. 3
6
35
Araştırmacılar ne yaptı?
Ekip, yaklaşımını ağırlık uzayında programlama (weight-space programming) olarak adlandırıyor. Buradaki fikir, başka bir sinir ağının davranışını belirleyen sayısal ağırlıkları bir dil modeliyle incelemek veya değiştirmek; bunu geleneksel gradyan tabanlı eğitim sürecini kullanmadan yapmak. Qwen deneyinde Astra’nın 131.072 ağırlığı, modelin toplam ağırlıklarının %0,016’sını değiştirdiği bildirildi. 6
33
MATH-500’de bildirilen artış belirgindi. Araştırmacılar GSM8K ve IFEval sonuçlarında da iyileşmeler olduğunu aktardı; ancak mevcut haber ve kaynaklarda bu iki sonuç için bağımsız tekrar testleri gösterilmiyor. 35
42
Deney, Astra’nın ağırlıkları tek seferde ve hiçbir araç kullanmadan değiştirmesinden ibaret değildi. Aktarımlara göre Astra, modelin davranışını incelemek için Python tabanlı araçlarla yoklamalar ve ileri geçişler yaptı; ardından düzenlemeye gitti. Yani son müdahale ağırlıklara yapıldı, fakat süreçte araçlarla yinelemeli teşhis de vardı. 20
32
Hedef, tekrarlayan akıl yürütme döngüleriydi
Araştırmacıların teşhisi, Qwen’in aynı düşünceleri tekrar tekrar üretme eğilimine odaklandı. Düzenlemeden önce MATH-500 yanıtlarının %93’ünün deneydeki çıktı sınırına ulaştığı; sonrasında bu oranın %33,1’e düştüğü bildirildi. Ekip, iyileşmeyi modelin iç hesaplamasında belirli bir bileşene yönelik müdahaleyle ilişkilendirdi. 3
20
Bu ayrıntı, sonucu daha anlaşılır kılıyor: Düzenleme, modelin yanıtı tamamlamasını engelleyebilen bir aksaklığı azaltarak mevcut kapasitesini daha verimli kullanmasına yardımcı olmuş olabilir. Araştırmacıların denediği, çok daha seyrek döngülere girdiği belirtilen Gemma 3 270M’de ise matematik puanında anlamlı bir iyileşme görülmedi. Bu karşılaştırma, yöntemin yeni beceri kazandırmaktan çok belirli bir sorunu gidermiş olabileceği yorumunu destekliyor; ancak ağırlık düzenlemesinin başka yetenekleri hiçbir zaman geliştiremeyeceğini kanıtlamıyor. 35
“Eğitim yapmadan” demek, emeksiz demek değil
Bildirilen süreçte tekrarlı inceleme ve testler vardı. Bir aktarım, denemenin yaklaşık 20 saat sürdüğünü ve 158 konuşma turu içerdiğini belirtiyor; başka bir kaynak da Python oturumundan ve alıştırma sorularında yapılan ileri geçişlerden söz ediyor. 20
32
Bu nedenle “eğitim olmadan” ifadesini “hiç uğraşmadan veya hesaplama harcamadan” diye anlamamak gerekir. Yöntem gradyan inişini ve geleneksel bir eğitim döngüsünü kullanmamış olsa da, sorunu teşhis etmek ve müdahaleyi sınamak için deneyler yapıldı. Bu örnek, başarılı bir düzenleme için gereken test miktarına dair herkes için geçerli bir alt sınır da ortaya koymuyor. 20
32
Bulgular neyi gösteriyor, neyi göstermiyor?
Önce-sonra karşılaştırması çarpıcı; ancak yalnızca bildirilen test düzenindeki performansı gösteriyor. Tek başına, modelin genel ve yeni akıl yürütme becerileri kazandığını kanıtlamıyor. Döngü oranındaki düşüş ve Gemma karşılaştırması, belirli bir zayıflığın giderilmesi yorumunu öne çıkarıyor. 3
35
İncelenebilecek bazı materyaller de paylaşıldı: Düzenlenmiş Qwen kontrol noktası erişilebilir durumda ve yayımlanan çalışmadan yeniden oluşturulan modelin MATH-500’de %51,0 aldığı bildirildi. Bu, matematik sonucunun tekrar elde edilebildiğine dair bir işaret; ancak düzenlenmiş bir kontrol noktasının puanını yeniden üretmek, Astra’nın sorunu bulup düzenlemeyi keşfettiği süreci baştan bağımsız biçimde tekrarlamakla aynı şey değil. 33
54
Mevcut haberler, GSM8K ve IFEval kazanımlarının bağımsız biçimde doğrulandığını göstermiyor. Qwen ve Gemma sonuçları da yöntemin rastgele seçilmiş modelleri veya görevleri güvenilir biçimde geliştireceğini ortaya koymuyor. Araştırmacılar, ağırlıklar üzerinde bu tür incelemeleri değerlendirmek için bir kıyaslama testi ve modellerin ağırlıkları keşfedip düzenlemesine yardımcı olacak bir araç seti geliştirdiklerini söyledi. Bunlar, yaklaşımın ne ölçüde tekrarlanabilir olduğunu sınamaya yardımcı olabilir. 16
35
42
Diğer gösterimler ayrı değerlendirilmeli
Araştırmacılar, ağların ağırlıklarından ne yaptığını anlama ve Breakout oynayan bir ağ oluşturma gibi başka deneylerden de söz etti. Ekip, Astra’nın Breakout ağının ağırlıklarını araç veya eğitim kullanmadan tek bir yanıtta yazdığını ve ağın 500 milyon adım eğitilmiş bir PPO temel çizgisinden 20 kat yüksek puan aldığını bildirdi. Bu, belirli bir oyun düzeni ve karşılaştırmaya ilişkin bir iddia; yöntemin genel olarak pekiştirmeli öğrenmeden üstün olduğunu göstermiyor. 9
47
Bu örnekler ağırlık uzayında programlama fikrini genişletiyor, ancak Qwen’deki onarımla karıştırılmamalı. Qwen deneyi araçlarla teşhis süreci içerirken Breakout örneği, ayrı bir ağ oluşturma deneyi olarak sunuldu. 9
20
32
En sağlam çıkarım, yapay zekâ destekli doğrudan parametre düzenlemesiyle model onarımına dair erken ve ilgi çekici bir örnekle karşı karşıya olduğumuz. Bildirilen sonuçlar dikkat çekici ve paylaşılan materyaller incelemeye imkân veriyor; yine de eldeki kanıtlar, dil modellerinin başka modelleri ucuza ve güvenilir biçimde genel olarak geliştirebildiği iddiasından daha dar kapsamlı. 16
33
35
54
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "GPT-6 Astra, Qwen’deki tekrarlayan düşünme döngülerini küçük bir ağırlık düzenlemesiyle hedef aldı"?
Araştırmacılar, Astra’nın Qwen3.5 0.8B’nin 131.072 ağırlığını, yani toplamın %0,016’sını değiştirdiğini ve MATH 500 puanının 7,9’dan 48,1’e yükseldiğini bildirdi.
What are the key points to validate first?
Araştırmacılar, Astra’nın Qwen3.5 0.8B’nin 131.072 ağırlığını, yani toplamın %0,016’sını değiştirdiğini ve MATH 500 puanının 7,9’dan 48,1’e yükseldiğini bildirdi. Deneyde Python tabanlı inceleme ve yinelemeli testler kullanıldı. Bir çalışmanın yaklaşık 20 saat sürdüğü bildirildi; dolayısıyla “eğitim yapmadan” ifadesi, sürecin zahmetsiz ya da hesaplama gerektirmeyen bir işlem ol...
What should I do next in practice?
Düzenlenmiş model için paylaşılan kontrol noktası ve MATH 500 tekrar testi sonucu, matematik puanının yeniden elde edilebildiğine dair bir miktar destek sunuyor.
Sources
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev