RespostasPublicado21 fontes
O que o experimento de edição de pesos do Qwen realmente mostra
Segundo os pesquisadores, o Astra alterou 131.072 pesos do Qwen3.5 0.8B, ou 0,016% do total, e o resultado no MATH 500 subiu de 7,9% para 48,1%. A intervenção teria reduzido loops repetitivos de raciocínio.
Publicado porEditado com GPT-6 LunaImagens geradas com GPT Image 2
Resposta de pesquisa
Principais conclusões
- Segundo os pesquisadores, o Astra alterou 131.072 pesos do Qwen3.5 0.8B, ou 0,016% do total, e o resultado no MATH 500 subiu de 7,9% para 48,1%.
- A intervenção teria reduzido loops repetitivos de raciocínio. O processo incluiu sondagens com Python e testes iterativos — portanto, “sem treinamento” não significa sem trabalho ou computação.
- Um checkpoint editado e uma nova avaliação relatada dão algum apoio à reprodutibilidade do resultado em matemática, mas não demonstram que a técnica funcione de forma ampla em outros modelos e tarefas.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (MIT CSAIL) relatam que o GPT-6 Astra ajudou a corrigir um problema em outro modelo ao editar diretamente seus parâmetros. No exemplo mais chamativo, o Astra alterou uma fração pequena dos pesos do Qwen3.5-0.8B, e o resultado do modelo no MATH-500 passou de 7,9% para 48,1%. A leitura mais prudente é que a mudança atacou um problema de loops de raciocínio — não que o Astra tenha simplesmente acrescentado capacidade matemática ao Qwen. 3
6
35
O que os pesquisadores dizem ter feito
A equipe chamou a abordagem de programação no espaço dos pesos (weight-space programming). Em vez de ajustar uma rede neural por meio do treinamento convencional, o método usa um modelo de linguagem para examinar ou modificar os valores numéricos — os pesos — que influenciam as respostas de outra rede.
No experimento com o Qwen, relatos indicam que o Astra alterou 131.072 pesos, equivalentes a 0,016% do total do modelo. O resultado no MATH-500 aumentou de forma expressiva. Os pesquisadores também relataram ganhos no GSM8K e no IFEval, mas as fontes disponíveis não apresentam replicações independentes desses dois resultados. 6
33
35
42
O processo não foi simplesmente uma edição automática feita de uma só vez. Segundo os relatos, o Astra usou sondagens com Python e passagens pelo modelo para investigar o comportamento do Qwen antes de propor a alteração. Ou seja: a edição final foi feita nos pesos, mas o caminho até ela envolveu ferramentas, testes e diagnóstico iterativo. 20
32
A mudança teria mirado os loops repetitivos
O diagnóstico relatado apontou para uma tendência do Qwen a repetir etapas de raciocínio. Antes da edição, 93% das respostas no MATH-500 teriam atingido o limite de saída do experimento; depois, essa proporção caiu para 33,1%. Os pesquisadores atribuíram a melhora a uma alteração direcionada na computação interna do modelo. 3
20
Isso ajuda a interpretar o salto no resultado: a edição parece ter permitido que o Qwen usasse melhor capacidades que já tinha, reduzindo uma falha que podia impedi-lo de concluir as respostas. Um teste separado com o Gemma 3 270M — descrito como um modelo que raramente entra nesse tipo de loop — não produziu melhora relevante em matemática. O contraste é compatível com a ideia de reparo, embora não prove que edições de pesos jamais possam aprimorar outras capacidades. 35
“Sem treinamento” não quer dizer sem esforço
O processo descrito envolveu várias rodadas de interação e avaliação. Um relato menciona uma execução de cerca de 20 horas e 158 turnos de conversa; outro descreve uma sessão com Python e um orçamento de passagens pelo modelo em problemas de prática. 20
32
Por isso, “sem treinamento” deve ser entendido como ausência de descida de gradiente e de um ciclo convencional de treinamento — não como ausência de trabalho ou de custo computacional. A equipe ainda precisou investigar a falha e testar uma intervenção. Os relatos não estabelecem quanto tempo ou quantos testes seriam necessários em outros casos. 20
32
O que as evidências sustentam — e o que não sustentam
A comparação do MATH-500 chama atenção, mas mede o desempenho no protocolo divulgado antes e depois da edição. Sozinha, ela não demonstra que o modelo tenha adquirido uma capacidade ampla de raciocínio. A queda na frequência de respostas que atingiam o limite e o contraste com o Gemma apontam, em vez disso, para a correção de um problema específico. 3
35
Há materiais que permitem algum escrutínio externo: um checkpoint editado do Qwen foi disponibilizado, e uma nova avaliação relatada a partir do trabalho publicado chegou a 51,0% no MATH-500. Isso dá apoio à possibilidade de reproduzir o resultado matemático do modelo editado. Mas repetir a avaliação de um checkpoint não é o mesmo que refazer, de forma independente, todo o processo de descoberta conduzido pelo Astra. 33
54
As fontes disponíveis não confirmam de forma independente os ganhos relatados no GSM8K e no IFEval. Tampouco os testes com Qwen e Gemma mostram que a técnica melhore qualquer modelo ou tarefa de maneira confiável. Os pesquisadores disseram estar desenvolvendo um benchmark e uma estrutura de testes para avaliar e apoiar esse tipo de exploração de pesos; essas ferramentas poderão ajudar a verificar o quanto o método é repetível. 16
35
42
Outras demonstrações são experimentos à parte
A equipe também descreveu testes de interpretação de redes a partir de seus pesos e de criação de uma rede capaz de jogar Breakout. Nesse exemplo, segundo os pesquisadores, o Astra escreveu os pesos da rede em uma única resposta, sem treinamento nem ferramentas, e obteve uma pontuação 20 vezes maior que a de uma referência baseada em PPO treinada por 500 milhões de etapas. É uma alegação sobre um jogo e uma comparação específicos, não uma prova de que o método supere, em geral, o aprendizado por reforço. 9
47
Essas demonstrações ampliam a ideia de programação no espaço dos pesos, mas não devem ser confundidas com o reparo do Qwen. No caso do Qwen, houve diagnóstico assistido por ferramentas; o exemplo de Breakout foi apresentado como um experimento separado de construção de rede. 9
20
32
A conclusão mais defensável é que se trata de um exemplo inicial e interessante de reparo de modelos com ajuda de IA e edição direta de parâmetros. Os números são relevantes e os materiais divulgados permitem análise, mas as evidências ainda são mais limitadas do que a afirmação de que modelos de linguagem conseguem aprimorar outros modelos de forma barata e confiável em geral. 16
33
35
54
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "O que o experimento de edição de pesos do Qwen realmente mostra"?
Segundo os pesquisadores, o Astra alterou 131.072 pesos do Qwen3.5 0.8B, ou 0,016% do total, e o resultado no MATH 500 subiu de 7,9% para 48,1%.
Quais são os pontos-chave para validar primeiro?
Segundo os pesquisadores, o Astra alterou 131.072 pesos do Qwen3.5 0.8B, ou 0,016% do total, e o resultado no MATH 500 subiu de 7,9% para 48,1%. A intervenção teria reduzido loops repetitivos de raciocínio. O processo incluiu sondagens com Python e testes iterativos — portanto, “sem treinamento” não significa sem trabalho ou computação.
O que devo fazer a seguir na prática?
Um checkpoint editado e uma nova avaliação relatada dão algum apoio à reprodutibilidade do resultado em matemática, mas não demonstram que a técnica funcione de forma ampla em outros modelos e tarefas.
Fontes
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev