AnswersPublished21 sources
Як GPT-6 Astra допомогла Qwen вийти з циклів міркувань
За повідомленням дослідників, GPT 6 Astra змінила 131 072 ваги Qwen3.5 0.8B — 0,016% від загальної кількості. Для діагностики використовували Python інструменти та багаторазові перевірки.
ОпублікувавВідредаговано за допомогою GPT-6 LunaЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- За повідомленням дослідників, GPT 6 Astra змінила 131 072 ваги Qwen3.5 0.8B — 0,016% від загальної кількості.
- Для діагностики використовували Python інструменти та багаторазові перевірки. Один описаний запуск тривав близько 20 годин і охопив 158 розмовних ходів, тож «без навчання» не означає «без значних витрат часу й обчисле...
- Опублікований чекпойнт і повторний запуск MATH 500 дають змогу перевірити частину результатів, але не доводять, що підхід надійно працюватиме з різними моделями й завданнями.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Дослідники MIT CSAIL — лабораторії Массачусетського технологічного інституту з комп’ютерних наук та штучного інтелекту — повідомили, що GPT-6 Astra може допомагати налагоджувати іншу нейромережу, аналізуючи та змінюючи її параметри. У найгучнішому прикладі після редагування невеликої частини ваг Qwen3.5-0.8B її результат на тесті MATH-500 зріс із 7,9% до 48,1%. Найобережніше тлумачення: втручання усунуло серйозну проблему з повторюваними циклами міркувань, а не просто додало моделі математичних здібностей. 3
6
35
Що саме змінили
Дослідники назвали свій підхід програмуванням у просторі ваг (weight-space programming). Замість звичного навчання з градієнтним спуском мовна модель аналізує числові параметри іншої нейромережі та може змінювати їх безпосередньо. У випадку Qwen, за повідомленнями, Astra відредагувала 131 072 ваги — 0,016% від загальної кількості параметрів моделі. 6
33
На MATH-500 результат помітно зріс. Дослідники також повідомили про покращення на GSM8K та IFEval, але доступні матеріали не демонструють незалежного повторення цих двох результатів. 35
42
Це не було одноразовим редагуванням навмання. За описами експерименту, Astra використовувала Python-інструменти й прямі проходи через модель, щоб дослідити її поведінку перед зміною ваг. Отже, саму правку внесли в параметри, але процес включав діагностику та послідовні перевірки. 20
32
Проблема була в повторюваних міркуваннях
Дослідники зосередилися на схильності Qwen застрягати в циклах і повторювати міркування. До втручання 93% відповідей на MATH-500, за їхніми даними, досягали встановленого ліміту генерації; після редагування таких відповідей залишилося 33,1%. Команда пов’язала зміни з цільовим втручанням у внутрішні обчислення моделі. 3
20
Це допомагає зрозуміти, звідки взявся приріст: правка, схоже, дала Qwen змогу ефективніше використовувати вже наявні можливості, зменшивши збій, який заважав завершувати відповіді. В окремій перевірці на Gemma 3 270M — моделі, що значно рідше зациклюється, — помітного покращення в математиці не отримали. Така різниця узгоджується з поясненням про усунення конкретної перешкоди, хоча не доводить, що редагування ваг ніколи не може покращувати інші здібності. 35
«Без навчання» не означає «без роботи»
Описаний процес передбачав багаторазові перевірки та взаємодію з моделлю. В одному звіті йдеться про запуск тривалістю близько 20 годин і 158 розмовних ходів; інший опис згадує роботу в Python та бюджет прямих проходів на тренувальних задачах. 20
32
Тож фразу «без навчання» не варто розуміти як «без витрат часу чи обчислень». Метод оминув градієнтний спуск і традиційний цикл навчання, але все одно вимагав експериментів, щоб знайти проблему й перевірити запропоновану зміну. Ці результати не встановлюють, скільки тестування потрібно для успішного редагування в інших випадках. 20
32
Що підтверджують результати — і чого поки ні
Різниця між результатами до і після правки вражає, але сама собою не доводить, що модель здобула широкі нові здібності до міркування. Зменшення частки відповідей, які впиралися в ліміт, і порівняння з Gemma радше вказують на точкове виправлення слабкого місця. 3
35
Відредагований чекпойнт Qwen доступний для перевірки. Також повідомлялося, що повторне відтворення за опублікованими матеріалами дало 51,0% на MATH-500. Це свідчить, що математичний результат можна відтворити, однак перевірити готовий чекпойнт — не те саме, що незалежно повторити весь процес, у якому Astra виявила проблему та знайшла спосіб її усунути. 33
54
Доступні матеріали не підтверджують незалежного відтворення заявлених покращень на GSM8K та IFEval. Результати для Qwen і Gemma також не доводять, що метод надійно покращуватиме довільні моделі чи завдання. Дослідники повідомили, що готують бенчмарк і інструментальне середовище для оцінювання та дослідження таких змін. Це допоможе перевірити відтворюваність підходу, але поки що є планом, а не підтвердженням його надійності. 16
35
42
Інші демонстрації — окремі експерименти
Дослідники також описали роботу з мережами для ігор, зокрема створення мережі для Breakout. За їхнім твердженням, Astra записала ваги такої мережі однією відповіддю, без навчання чи інструментів, і та набрала у 20 разів більше за базову модель PPO, навчену на 500 мільйонах кроків. Це результат для конкретної гри та конкретного порівняння, а не доказ загальної переваги над навчанням із підкріпленням. 9
47
Ці приклади розширюють ідею програмування у просторі ваг, але їх не слід змішувати з ремонтом Qwen. У випадку Qwen діагностика спиралася на інструменти; експеримент із Breakout був окремою спробою створити мережу. 9
20
32
Найобґрунтованіший висновок наразі — це ранній і цікавий приклад того, як ШІ може допомагати ремонтувати модель прямими змінами її параметрів. Результати варті уваги, а опубліковані матеріали дають змогу їх перевіряти. Але доказів поки недостатньо для ширшої заяви, ніби мовні моделі вже можуть дешево й надійно вдосконалювати будь-які інші моделі. 16
33
35
54
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Як GPT-6 Astra допомогла Qwen вийти з циклів міркувань"?
За повідомленням дослідників, GPT 6 Astra змінила 131 072 ваги Qwen3.5 0.8B — 0,016% від загальної кількості.
What are the key points to validate first?
За повідомленням дослідників, GPT 6 Astra змінила 131 072 ваги Qwen3.5 0.8B — 0,016% від загальної кількості. Для діагностики використовували Python інструменти та багаторазові перевірки. Один описаний запуск тривав близько 20 годин і охопив 158 розмовних ходів, тож «без навчання» не означає «без значних витрат часу й обчисле...
What should I do next in practice?
Опублікований чекпойнт і повторний запуск MATH 500 дають змогу перевірити частину результатів, але не доводять, що підхід надійно працюватиме з різними моделями й завданнями.
Sources
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev