RespostasPublicado18 fontes
Os números do VeriLoop Coder-E1 não vêm apenas dos pesos abertos do modelo
O VeriLoop Coder E1 divulgou 85,20 no SWE bench Verified, 62,38 no SWE bench Pro, 76,40 no Terminal Bench 2.0 e 33,63 no DeepSWE — resultados do sistema com o Self Harness, não do checkpoint isolado. Os pesos abertos incluem um modelo baseado no Qwen3.6 27B e adaptadores PEFT especializados; o Harness fechado orques...
Publicado porEditado com GPT-5.6 TerraImagens geradas com GPT Image 2
Resposta de pesquisa
Principais conclusões
- O VeriLoop Coder E1 divulgou 85,20 no SWE bench Verified, 62,38 no SWE bench Pro, 76,40 no Terminal Bench 2.0 e 33,63 no DeepSWE — resultados do sistema com o Self Harness, não do checkpoint isolado.
- Os pesos abertos incluem um modelo baseado no Qwen3.6 27B e adaptadores PEFT especializados; o Harness fechado orquestra contexto, ferramentas, testes, evidências, validação e rollback.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
Os resultados divulgados para o VeriLoop Coder-E1 devem ser entendidos como desempenho de um sistema completo de agente para reparo de repositórios, e não apenas do modelo baixável. A equipe da Escola Internacional de Pós-Graduação de Shenzhen da Universidade Tsinghua informou 85,20 no SWE-bench Verified, 62,38 no SWE-bench Pro, 76,40 no Terminal-Bench 2.0 e 33,63 no DeepSWE. Esses números se referem à configuração VeriLoop orientada por evidências, cujo Self-Harness de produção não foi aberto. 1
21
A diferença decisiva: pesos do modelo versus sistema avaliado
A parte pública é um modelo de código de 27 bilhões de parâmetros, baseado no Qwen3.6-27B, voltado a raciocínio sobre código, entendimento de repositórios e geração de artefatos. Os materiais no Hugging Face o descrevem como um modelo vertical de engenharia de software sob licença aberta Apache-2.0. 5
21
Já o Self-Harness é descrito pela documentação como a camada de execução que transforma a saída do modelo em um processo de engenharia delimitado e guiado por evidências. O adaptador público de Evidence Binding deixa claro que foi feito para operar sob o Harness do VeriLoop e não substitui, por si só, a pilha completa de runtime, validação, evidências, rollback, sandbox e observabilidade. 21
23
Na prática, baixar e executar o checkpoint aberto não é suficiente para presumir que os resultados publicados serão reproduzidos. As fontes disponíveis sustentam uma conclusão mais restrita: o desempenho reportado vem da combinação entre modelo e fluxo de trabalho controlado pelo Harness. A reprodução independente a partir dos pesos públicos não está estabelecida nas fontes fornecidas.
O papel do PEFT de domínio restrito
Em vez de atualizar continuamente o modelo-base durante uma tarefa de reparo, o VeriLoop descreve um Qwen-base fixo associado a superfícies PEFT destacáveis e específicas por capacidade. Os materiais públicos apontam quatro áreas: ToolSpec, Uncertainty, Rollback e Evidence Binding. 5
20
24
Em termos funcionais, esses adaptadores procuram tornar o modelo mais apto a tomar decisões e produzir artefatos de engenharia de software:
- Contratos de ferramentas: especificar ações de ferramenta, entradas, restrições e critérios de aceitação utilizáveis.
- Tratamento de incerteza: separar hipóteses provisórias de descobertas já confirmadas.
- Vinculação de evidências: ligar afirmações a registros de execução, emitir um veredito explícito e definir a próxima ação dentro de limites.
- Consciência de rollback: evitar que um patch ainda não validado passe a ser tratado como a nova verdade do repositório.
20
Trata-se de uma estratégia de especialização, não de uma descrição pública completa do corpus de treinamento ou da implementação dos adaptadores. Os materiais lançados explicam as capacidades declaradas e seu papel pretendido, mas não permitem auditar de forma independente todas as escolhas feitas em cada etapa de treinamento. 20
24
Como funciona a “espiral governada por evidências”
A ideia central é tratar o reparo de código como uma sequência de pacotes de trabalho restritos e testáveis, em vez de simplesmente pedir ao modelo que tente outro patch. Segundo o projeto e a descrição da Tsinghua, toda alteração gerada precisa passar por testes; se falhar, a falha é analisada e orienta o ciclo seguinte de reparo. 1
3
21
Uma leitura prática do ciclo é a seguinte:
- Montagem do pacote de tarefa. O Harness reúne o problema, o contexto do repositório, as restrições de interface e as condições de aceitação em um pacote de trabalho estruturado.
3
- Geração e execução de uma proposta limitada. O modelo propõe um artefato ou patch, e então são acionadas as ferramentas e os testes relevantes do repositório.
1
- Uso de contraprovas como correção. Falhas de teste, diagnósticos, registros de ferramentas e conflitos de interface desafiam o diagnóstico ou patch atual, em vez de apenas dispararem uma nova tentativa sem estrutura.
- Recompilação do próximo pacote. A rodada seguinte incorpora o artefato anterior, as falhas, os registros, as contraprovas e as novas restrições impostas.
- Reparo local e verificação. O sistema se concentra no problema implicado, testa a revisão e aceita ou rejeita o resultado segundo condições de validação e regressão.
- Retenção ou rollback. Se a proposta não atende às verificações aplicáveis, ela é revisada ou descartada, em vez de ser tratada silenciosamente como progresso.
No DeepSWE, o registro de avaliação publicado pelo projeto informa 38 aprovações em 113 tarefas; resultados que não passaram foram contabilizados como falha, chegando a 33,6283%. Isso é compatível com o índice divulgado de 33,63, embora o próprio registro seja identificado como autopublicado. 17
Por que a equipe chama isso de autoaperfeiçoamento recursivo
A distinção alegada pelo VeriLoop não é apenas a capacidade de gerar vários patches. Na formulação da equipe, uma evidência só importa quando altera a maneira como o sistema investigará, julgará e corrigirá trabalhos futuros — e não quando apenas enfeita uma conclusão já escolhida. 1
Isso cria três padrões diferentes:
- Tentativa e erro: um patch falha e o sistema gera outro candidato.
- Sucesso de verificação: um candidato passa nas verificações selecionadas.
- Aperfeiçoamento governado por evidências: contraprovas mudam o próximo método — como o enquadramento da tarefa, o foco do diagnóstico, a evidência admissível, a restrição de reparo ou a etapa de validação — e esse método revisado continua sujeito a novos questionamentos.
A proposta é compatível com uma visão de engenharia inspirada na falseabilidade: um teste deve poder refutar a hipótese corrente, e um resultado aprovado é evidência para uma proposta sob verificações específicas, não uma prova universal. O efeito prático mais importante é a gestão disciplinada de estado: distinguir observação de conclusão, preservar o que foi validado e fazer hipóteses fracassadas restringirem a próxima tentativa. 1
20
21
A afirmação mais forte — de que essas mudanças de método se generalizam amplamente entre repositórios ou configuram autoaperfeiçoamento recursivo autônomo em sentido geral — ainda não é demonstrada pelas informações públicas fornecidas.
Por que o modelo é aberto, mas o Harness não
O projeto separa um backend de modelo reutilizável do plano de controle que o coordena. O modelo e os artefatos PEFT públicos permitem experimentos com raciocínio sobre repositórios e geração de artefatos. O Harness de produção, mantido fechado, contém a orquestração que compila pacotes de tarefa, mantém estados de tarefa e de versão, encaminha evidências, agenda etapas, aplica validação e administra rollback. 3
21
23
Essa divisão tem uma consequência importante para a reprodutibilidade: publicar um modelo não equivale a publicar o agente completo que foi avaliado. Ela também torna a alegação pública mais precisa. O Coder-E1 é o modelo especializado de código; o Self-Harness é o sistema de execução que governa seu uso. Enquanto essa pilha de controle não estiver disponível ou não for replicada de modo independente, os resultados de benchmark devem ser lidos como resultados de sistema, e não como uma propriedade inerente apenas ao checkpoint aberto. 1
21
23
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "Os números do VeriLoop Coder-E1 não vêm apenas dos pesos abertos do modelo"?
O VeriLoop Coder E1 divulgou 85,20 no SWE bench Verified, 62,38 no SWE bench Pro, 76,40 no Terminal Bench 2.0 e 33,63 no DeepSWE — resultados do sistema com o Self Harness, não do checkpoint isolado.
Quais são os pontos-chave para validar primeiro?
O VeriLoop Coder E1 divulgou 85,20 no SWE bench Verified, 62,38 no SWE bench Pro, 76,40 no Terminal Bench 2.0 e 33,63 no DeepSWE — resultados do sistema com o Self Harness, não do checkpoint isolado. Os pesos abertos incluem um modelo baseado no Qwen3.6 27B e adaptadores PEFT especializados; o Harness fechado orquestra contexto, ferramentas, testes, evidências, validação e rollback.