답변게시됨21 소스
AI가 다른 AI의 추론 오류를 직접 고칠 수 있을까
연구진은 Astra가 Qwen3.5 0.8B 가중치의 0.016%를 수정한 뒤 MATH 500 점수가 7.9%에서 48.1%로 올랐다고 보고했습니다. 실험에는 파이썬을 이용한 탐색과 점검이 동원됐고, 한 차례 실행에 약 20시간이 걸렸다고 전해졌습니다.
게시자GPT-6 Luna로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- 연구진은 Astra가 Qwen3.5 0.8B 가중치의 0.016%를 수정한 뒤 MATH 500 점수가 7.9%에서 48.1%로 올랐다고 보고했습니다.
- 실험에는 파이썬을 이용한 탐색과 점검이 동원됐고, 한 차례 실행에 약 20시간이 걸렸다고 전해졌습니다. ‘학습 없이’가 ‘수고나 연산 없이’를 뜻하지는 않습니다.
- 수정된 체크포인트와 MATH 500 재실행 결과가 공개됐지만, 이 방법이 여러 모델과 과제에서 폭넓게 통한다는 점까지 입증된 것은 아닙니다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
MIT CSAIL 연구진 리키야 타케히, 제이든 테오, 알렉스 장, 오마르 캇탑은 GPT-6 Astra가 다른 신경망의 가중치를 살펴보고 직접 수정해 문제를 고칠 수 있다고 보고했습니다. 대표 사례에서는 Astra가 Qwen3.5-0.8B의 가중치 가운데 작은 일부를 바꿨고, MATH-500 점수는 7.9%에서 48.1%로 상승했습니다. 다만 이 결과를 Astra가 수학 능력을 새로 ‘주입’했다고 보기보다는, 심각한 반복 추론 문제를 줄여 모델이 기존 능력을 더 잘 발휘하도록 도운 사례로 해석하는 편이 신중합니다. 3
6
35
연구진이 보고한 내용
연구진은 이 접근법을 **웨이트 스페이스 프로그래밍(weight-space programming)**이라고 불렀습니다. 통상적인 경사하강법 기반 학습으로 가중치를 업데이트하는 대신, 언어 모델이 다른 신경망의 수치 파라미터를 살펴보고 수정하는 방식입니다. Qwen 실험에서 Astra가 바꾼 가중치는 131,072개로, 모델 전체의 0.016%였다고 전해졌습니다. 6
33
보고된 MATH-500 점수 상승 폭은 컸습니다. 연구진은 GSM8K와 IFEval에서도 개선을 보고했지만, 현재 공개된 보도만으로는 이 두 결과가 독립적으로 재현됐는지 확인하기 어렵습니다. 35
42
이 실험은 Astra가 아무런 보조 수단 없이 한 번에 가중치를 고친 사례는 아닙니다. 보도된 설명에 따르면 Astra는 수정에 앞서 파이썬 기반 탐색과 순전파(forward pass)를 활용해 모델의 동작을 살폈습니다. 최종 개입이 가중치 수정이었던 것은 맞지만, 그 과정에는 도구를 이용한 진단과 반복적인 점검이 포함됐습니다. 20
32
문제의 핵심은 반복되는 추론
연구진이 주목한 문제는 Qwen이 같은 생각을 되풀이하는 추론 루프에 빠지는 경향이었습니다. 수정 전에는 MATH-500 답변의 93%가 실험에서 허용한 출력 한도에 도달했지만, 수정 뒤에는 그 비율이 33.1%로 떨어졌다고 합니다. 연구진은 모델 내부 연산에 특정한 변화를 줘 이 개선을 이끌었다고 설명했습니다. 3
20
이 점을 고려하면 결과를 좀 더 구체적으로 읽을 수 있습니다. 편집은 모델이 답변을 마치지 못하게 만들던 실패 양상을 줄여, 이미 갖고 있던 능력을 더 효과적으로 활용하도록 도운 것으로 보입니다. 반면 반복 추론이 훨씬 드물다고 보고된 Gemma 3 270M에서는 수학 점수가 유의미하게 개선되지 않았습니다. 이 대비는 ‘새 능력 추가’보다 ‘특정 결함 수리’라는 해석을 뒷받침하지만, 가중치 편집이 다른 능력을 개선할 수 없다는 뜻은 아닙니다. 35
‘학습 없이’도 적지 않은 실험이 필요했다
보고된 작업은 여러 차례의 상호작용과 점검을 거쳤습니다. 한 설명에 따르면 실험 한 차례는 약 20시간 동안 진행됐고, 대화는 158회 이어졌습니다. 다른 설명은 파이썬 세션과 연습 문제를 이용한 순전파 예산을 언급합니다. 20
32
따라서 ‘학습 없이’라는 표현을 ‘노력이나 연산이 거의 들지 않았다’는 뜻으로 받아들여서는 안 됩니다. 이 방법은 경사하강법과 통상적인 학습 과정을 거치지 않았지만, 문제를 찾아내고 개입의 효과를 확인하기 위한 실험은 필요했습니다. 공개된 결과만으로 성공적인 편집에 필요한 최소한의 점검량이 보편적으로 정해졌다고 볼 수도 없습니다. 20
32
확인된 성과와 아직 남은 물음
눈에 띄는 점수 변화에는 맥락이 필요합니다. 수치는 보고된 시험 설정에서 수정 전후 성능을 비교한 결과이지, 그 자체로 모델이 폭넓은 새 추론 능력을 얻었다는 증거는 아닙니다. 반복 출력 비율의 변화와 Gemma 비교 결과는 오히려 특정 약점을 겨냥해 고쳤다는 설명에 힘을 싣습니다. 3
35
다른 사람이 살펴볼 수 있는 자료도 일부 공개됐습니다. 수정된 Qwen 체크포인트가 제공되며, 공개된 작업을 바탕으로 다시 만든 모델이 MATH-500에서 51.0%를 기록했다는 결과도 전해졌습니다. 이는 수학 점수 결과의 재현 가능성을 뒷받침하는 자료입니다. 다만 수정된 체크포인트의 점수를 재현하는 것과 Astra가 처음 문제를 찾아내고 편집한 전 과정을 독립적으로 반복하는 것은 별개의 일입니다. 33
54
GSM8K와 IFEval 점수 상승이 독립적으로 확인됐는지는 공개된 보도에서 분명하지 않습니다. Qwen과 Gemma 결과만으로 이 기법이 임의의 모델이나 과제에서 안정적으로 성능을 높인다고 결론 내릴 수도 없습니다. 연구진은 이런 방식의 가중치 탐색을 평가할 벤치마크와 언어 모델의 탐색·수정을 지원하는 도구 환경을 개발 중이라고 밝혔습니다. 이런 자료가 마련되면 방법의 재현성을 더 엄밀하게 검증할 수 있습니다. 16
35
42
다른 시연은 별개의 주장
연구진은 가중치만 보고 신경망을 해석하는 실험과 브레이크아웃을 하는 신경망을 만드는 실험도 소개했습니다. 연구진 설명에 따르면 Astra는 한 번의 응답으로 브레이크아웃 네트워크의 가중치를 작성했고, 학습이나 도구를 사용하지 않은 채 5억 단계 학습한 PPO 기준 모델보다 20배 높은 점수를 냈습니다. 이는 특정 게임 환경과 비교 설정에 관한 주장이지, 이 방법이 강화학습보다 전반적으로 우월하다는 증거는 아닙니다. 9
47
이 실험들은 웨이트 스페이스 프로그래밍이라는 아이디어의 범위를 넓혀 보여주지만, Qwen 수리 사례와 한데 묶어 해석해서는 안 됩니다. Qwen 실험은 도구를 활용한 진단을 거쳤고, 브레이크아웃 사례는 별도의 네트워크 생성 실험으로 제시됐습니다. 9
20
32
현재 가장 신중하게 내릴 수 있는 결론은 이렇습니다. AI가 직접 파라미터를 수정해 다른 모델의 문제를 고칠 수 있다는 흥미로운 초기 사례가 나왔고, 보고된 수치도 주목할 만합니다. 공개된 자료는 검토와 재현을 가능하게 하지만, 지금까지의 근거만으로 언어 모델이 다른 모델을 저렴하고 안정적으로 전반적인 성능 향상시킬 수 있다고 말하기는 어렵습니다. 16
33
35
54
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"AI가 다른 AI의 추론 오류를 직접 고칠 수 있을까"에 대한 짧은 대답은 무엇입니까?
연구진은 Astra가 Qwen3.5 0.8B 가중치의 0.016%를 수정한 뒤 MATH 500 점수가 7.9%에서 48.1%로 올랐다고 보고했습니다.
먼저 검증할 핵심 포인트는 무엇인가요?
연구진은 Astra가 Qwen3.5 0.8B 가중치의 0.016%를 수정한 뒤 MATH 500 점수가 7.9%에서 48.1%로 올랐다고 보고했습니다. 실험에는 파이썬을 이용한 탐색과 점검이 동원됐고, 한 차례 실행에 약 20시간이 걸렸다고 전해졌습니다. ‘학습 없이’가 ‘수고나 연산 없이’를 뜻하지는 않습니다.
실무에서는 다음으로 무엇을 해야 합니까?
수정된 체크포인트와 MATH 500 재실행 결과가 공개됐지만, 이 방법이 여러 모델과 과제에서 폭넓게 통한다는 점까지 입증된 것은 아닙니다.
출처
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev