RéponsesPublié18 sources
Pourquoi les scores de VeriLoop Coder-E1 ne dépendent pas seulement de ses poids ouverts
VeriLoop Coder E1 a rapporté 85,20 sur SWE bench Verified, 62,38 sur SWE bench Pro, 76,40 sur Terminal Bench 2.0 et 33,63 sur DeepSWE ; ces chiffres décrivent le système complet, pas nécessairement le seul modèle télé... Les poids ouverts reposent sur Qwen3.6 27B et s’accompagnent d’adaptateurs PEFT spécialisés ; le...
Publié parModifié avec GPT-5.6 TerraImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- VeriLoop Coder E1 a rapporté 85,20 sur SWE bench Verified, 62,38 sur SWE bench Pro, 76,40 sur Terminal Bench 2.0 et 33,63 sur DeepSWE ; ces chiffres décrivent le système complet, pas nécessairement le seul modèle télé...
- Les poids ouverts reposent sur Qwen3.6 27B et s’accompagnent d’adaptateurs PEFT spécialisés ; le Self Harness non ouvert orchestre les tests, les preuves d’exécution, la validation et le retour arrière.
- Le principe affiché est une boucle où les échecs de test modifient la prochaine méthode d’enquête et de réparation, au lieu de provoquer simplement une nouvelle tentative de patch.
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
Les résultats annoncés pour VeriLoop Coder-E1 doivent être lus comme ceux d’un système de réparation de dépôts de code, et non comme une propriété démontrée du seul modèle ouvert.
L’équipe de la Tsinghua Shenzhen International Graduate School rapporte 85,20 sur SWE-bench Verified, 62,38 sur SWE-bench Pro, 76,40 sur Terminal-Bench 2.0 et 33,63 sur DeepSWE. Ces scores correspondent à la configuration VeriLoop guidée par les preuves, dont le Self-Harness de production n’est pas open source. 1
21
Modèle ouvert et système évalué : deux choses différentes
Coder-E1 est un modèle de code de 27 milliards de paramètres, fondé sur Qwen3.6-27B. Il vise le raisonnement sur le code, la compréhension d’un dépôt et la production d’artefacts logiciels ; sa distribution est annoncée sous licence Apache-2.0. 5
21
Mais la documentation du projet présente le Self-Harness comme la couche d’exécution qui transforme la génération du modèle en processus d’ingénierie borné et piloté par les preuves. L’adaptateur public d’« Evidence Binding » précise lui-même qu’il est destiné à fonctionner avec le runtime VeriLoop et qu’il ne remplace pas la pile complète : validation, gestion des preuves, retour arrière, sandbox et observabilité. 21
23
Autrement dit, charger le checkpoint public ne suffit pas, d’après les éléments disponibles, à reproduire les résultats publiés. La conclusion étayée est plus limitée : la performance rapportée vient de l’association du modèle et de son workflow sous harnais. Une reproduction indépendante à partir des seuls poids publics n’est pas établie par les sources fournies.
Ce qu’apportent les adaptateurs PEFT spécialisés
VeriLoop ne décrit pas un modèle de base continuellement réentraîné pendant une réparation. Le socle Qwen est présenté comme fixe, auquel s’ajoutent des surfaces PEFT — une technique de réglage fin économe en paramètres — détachables et spécialisées. Quatre domaines sont identifiés : ToolSpec, Uncertainty, Rollback et Evidence Binding. 5
20
24
Dans les faits, ces adaptateurs sont censés mieux préparer le modèle aux décisions et aux artefacts propres au génie logiciel :
- Contrats d’outils : exprimer les actions exploitables, leurs entrées, leurs contraintes et leurs conditions d’acceptation ;
- Gestion de l’incertitude : distinguer une piste de diagnostic d’un constat établi ;
- Liaison entre preuves et affirmations : relier une conclusion aux traces d’exécution, produire un verdict explicite et borner l’action suivante ;
- Prise en compte du retour arrière : ne pas traiter un patch non validé comme le nouvel état de référence du dépôt.
20
Les documents publics confirment les capacités revendiquées et leur rôle prévu. Ils ne donnent toutefois pas assez de détails pour auditer indépendamment l’ensemble des données d’entraînement ni chaque choix effectué durant l’entraînement. 20
24
La « spirale gouvernée par les preuves »
L’idée centrale consiste à remplacer une succession de demandes du type « essaie un autre patch » par des séquences de travail contraintes et vérifiables. Selon le projet et la présentation de Tsinghua, chaque changement généré doit être testé ; en cas d’échec, celui-ci est analysé avant un nouveau cycle de correction et de vérification. 1
3
21
On peut résumer la boucle ainsi :
- Constituer un paquet de travail. Le harnais combine le ticket, le contexte du dépôt, les contraintes d’interface et les critères d’acceptation dans un paquet structuré.
3
- Produire puis exécuter un candidat borné. Le modèle propose un artefact ou un patch, avant l’appel des outils et tests pertinents du dépôt.
1
- Utiliser les contre-preuves pour corriger le raisonnement. Échecs de test, diagnostics, retours d’outils et conflits d’interface remettent en cause le diagnostic ou le patch en cours, plutôt que de déclencher une relance sans structure.
- Recompiler le paquet suivant. Le cycle suivant incorpore l’artefact précédent, les erreurs, les reçus d’exécution, les contre-preuves et les nouvelles contraintes.
- Réparer localement et vérifier. Le système cible le problème impliqué, teste la révision et l’accepte ou la rejette au regard des validations et des tests de non-régression.
- Conserver ou annuler. Un candidat qui ne satisfait pas les contrôles applicables est révisé ou écarté ; il n’est pas considéré silencieusement comme un progrès.
Pour DeepSWE, le relevé d’évaluation publié par le projet indique 38 réussites sur 113 tâches. Tous les résultats non réussis y sont comptés comme des échecs, soit 33,6283 %, ce qui correspond au score annoncé de 33,63. Le document est toutefois signalé comme auto-publié. 17
Au-delà de l’essai-erreur et du simple « test réussi »
La distinction avancée par VeriLoop n’est pas seulement qu’un agent peut générer plusieurs correctifs. Dans son approche, une preuve n’est utile que si elle peut modifier la manière dont le système enquêtera, jugera et corrigera la suite du travail ; elle ne doit pas simplement habiller une conclusion déjà choisie. 1
Cela sépare trois niveaux :
- Essai-erreur : un patch échoue, donc le système en génère un autre ;
- Succès de vérification : un candidat passe les contrôles retenus ;
- Amélioration gouvernée par les preuves : une contre-preuve change la méthode du cycle suivant — cadrage de la tâche, diagnostic, preuves admissibles, contrainte de réparation ou porte de validation — tout en laissant cette méthode révisée contestable par de nouvelles preuves.
Cette logique s’accorde avec une lecture falsificationniste de l’ingénierie : un test doit pouvoir invalider une hypothèse courante ; un test réussi apporte un soutien dans un cadre de vérification donné, pas une preuve universelle. L’enjeu pratique est surtout une gestion rigoureuse de l’état : séparer observation et conclusion, conserver ce qui a été validé et faire des hypothèses invalidées des contraintes pour la tentative suivante. 1
20
21
En revanche, les informations publiques ne permettent pas d’établir que ces changements de méthode se généralisent largement entre dépôts, ni qu’ils constituent une amélioration récursive autonome au sens le plus fort.
Pourquoi le modèle est ouvert, mais pas le Self-Harness
Le projet sépare un backend de modèle réutilisable de la couche de contrôle qui l’orchestre. Les poids du modèle et les artefacts PEFT publics peuvent servir à expérimenter le raisonnement sur des dépôts et la génération d’artefacts. Le Self-Harness de production, non publié, comprend l’orchestration qui compile les paquets de travail, maintient l’état des tâches et des versions, achemine les preuves, organise les étapes, applique la validation et gère le retour arrière. 3
21
23
Cette frontière est essentielle pour interpréter les benchmarks : publier un modèle ne revient pas à publier l’agent complet évalué. La formulation la plus juste est donc la suivante : Coder-E1 est le modèle de code spécialisé ; Self-Harness est le système d’exécution qui encadre son usage. Tant que cette pile de contrôle ne sera pas disponible ou répliquée indépendamment, les scores doivent être considérés comme des résultats au niveau du système, et non comme une caractéristique intrinsèque du seul checkpoint ouvert. 1
21
23
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « Pourquoi les scores de VeriLoop Coder-E1 ne dépendent pas seulement de ses poids ouverts » ?
VeriLoop Coder E1 a rapporté 85,20 sur SWE bench Verified, 62,38 sur SWE bench Pro, 76,40 sur Terminal Bench 2.0 et 33,63 sur DeepSWE ; ces chiffres décrivent le système complet, pas nécessairement le seul modèle télé...
Quels sont les points clés à valider en premier ?
VeriLoop Coder E1 a rapporté 85,20 sur SWE bench Verified, 62,38 sur SWE bench Pro, 76,40 sur Terminal Bench 2.0 et 33,63 sur DeepSWE ; ces chiffres décrivent le système complet, pas nécessairement le seul modèle télé... Les poids ouverts reposent sur Qwen3.6 27B et s’accompagnent d’adaptateurs PEFT spécialisés ; le Self Harness non ouvert orchestre les tests, les preuves d’exécution, la validation et le retour arrière.
Que dois-je faire ensuite en pratique ?
Le principe affiché est une boucle où les échecs de test modifient la prochaine méthode d’enquête et de réparation, au lieu de provoquer simplement une nouvelle tentative de patch.