RespuestasPublicado18 fuentes
Por qué los resultados de VeriLoop Coder-E1 dependen de un Self-Harness privado
VeriLoop Coder E1 comunica 85,20 en SWE bench Verified, 62,38 en SWE bench Pro, 76,40 en Terminal Bench 2.0 y 33,63 en DeepSWE. La parte pública incluye un modelo basado en Qwen3.6 27B y adaptadores PEFT especializados; la capa cerrada coordina el estado de la tarea, las pruebas, la evidencia, la validación y la rev...
Publicado porEditado con GPT-5.6 TerraImágenes generadas con GPT Image 2
Respuesta de investigación
Conclusiones clave
- VeriLoop Coder E1 comunica 85,20 en SWE bench Verified, 62,38 en SWE bench Pro, 76,40 en Terminal Bench 2.0 y 33,63 en DeepSWE.
- La parte pública incluye un modelo basado en Qwen3.6 27B y adaptadores PEFT especializados; la capa cerrada coordina el estado de la tarea, las pruebas, la evidencia, la validación y la reversión de cambios.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 debe entenderse como la capa de modelo de un agente más amplio para reparar repositorios de código. El equipo de la Escuela Internacional de Posgrado de Shenzhen de la Universidad de Tsinghua comunica resultados de 85,20 en SWE-bench Verified, 62,38 en SWE-bench Pro, 76,40 en Terminal-Bench 2.0 y 33,63 en DeepSWE. Pero esas cifras se atribuyen a la configuración VeriLoop gobernada por evidencia, cuyo Self-Harness de producción no es de código abierto. 1
21
La diferencia decisiva: los pesos del modelo frente al sistema evaluado
La descarga pública es un modelo de programación de 27.000 millones de parámetros, basado en Qwen3.6-27B y orientado al razonamiento sobre código, la comprensión de repositorios y la generación de artefactos. Su ficha en Hugging Face lo describe como un modelo vertical de ingeniería de software, publicado bajo licencia Apache-2.0. 5
21
Sin embargo, la propia documentación del proyecto presenta Self-Harness como el sustrato de ejecución que gobierna el proceso: la capa que convierte la salida del modelo en un flujo de ingeniería delimitado y guiado por evidencia. El adaptador público de Evidence Binding advierte expresamente que está pensado para funcionar bajo el runtime de VeriLoop Harness y que no sustituye por sí solo la pila completa de ejecución, validación, evidencia, reversión, sandbox y observabilidad. 21
23
Por tanto, no conviene leer las puntuaciones como una prueba de que cargar el checkpoint disponible bastará para reproducir los resultados publicados. La conclusión que permiten los materiales disponibles es más acotada: el rendimiento comunicado procede de la combinación del modelo y su flujo de trabajo con harness. Las fuentes aportadas no establecen una reproducción independiente a partir de los pesos públicos.
Qué aportan los adaptadores PEFT especializados
En vez de actualizar continuamente el modelo base durante una tarea de reparación, VeriLoop describe un modelo Qwen fijo combinado con superficies PEFT desmontables y específicas para distintas capacidades. Los materiales públicos identifican cuatro: ToolSpec, Uncertainty, Rollback y Evidence Binding. 5
20
24
En la práctica, estos adaptadores pretenden mejorar la capacidad del modelo para producir artefactos y tomar decisiones de ingeniería:
- Contratos de herramientas: definir acciones utilizables, entradas, restricciones y criterios de aceptación.
- Manejo de incertidumbre: distinguir un diagnóstico provisional de un hallazgo ya establecido.
- Vinculación de evidencia: conectar afirmaciones con recibos de ejecución, emitir un veredicto explícito y proponer una acción siguiente acotada.
- Conciencia de reversión: impedir que un parche sin validar pase a tratarse como el nuevo estado fiable del repositorio.
20
Es una estrategia de especialización, no una descripción pública completa del corpus de entrenamiento ni de la implementación de los adaptadores. Los materiales publicados respaldan las capacidades declaradas y su función prevista, pero no ofrecen detalle suficiente para auditar de forma independiente todas las decisiones de cada etapa de entrenamiento. 20
24
Cómo funciona la espiral gobernada por evidencia
La idea central es convertir la reparación de código en una sucesión de paquetes de trabajo acotados y comprobables, en vez de pedir al modelo una y otra vez que pruebe otro parche. Según la descripción del proyecto y de Tsinghua, cada cambio generado debe probarse; si falla, el sistema analiza la causa, corrige y vuelve a validar. 1
3
21
Una lectura práctica de ese ciclo sería la siguiente:
- Construcción del paquete de trabajo. El harness combina la incidencia, el contexto del repositorio, las restricciones de interfaz y las condiciones de aceptación en un paquete estructurado.
3
- Generación y ejecución de un candidato delimitado. El modelo propone un artefacto o parche y se invocan las herramientas y pruebas pertinentes del repositorio.
1
- Uso de la contraevidencia como corrección. Los fallos de pruebas, diagnósticos, recibos de herramientas y conflictos de interfaz cuestionan el diagnóstico o parche vigente, en lugar de disparar un reintento sin estructura.
- Recompilación del siguiente paquete. La siguiente ronda incorpora el artefacto previo, fallos, recibos, contraevidencia y nuevas restricciones.
- Reparación local y verificación. El proceso se concentra en el problema implicado, prueba la revisión y la acepta o rechaza según condiciones de validación y regresión.
- Conservación o reversión. Si un candidato no supera las comprobaciones aplicables, se revisa o descarta; no se considera progreso de manera silenciosa.
Para DeepSWE, el registro de evaluación publicado por el proyecto informa de 38 tareas superadas de un total de 113; los resultados que no superaron la prueba se contabilizan como fallos, lo que da un 33,6283 %. Es coherente con el 33,63 comunicado, aunque el propio registro se identifica como autopublicado. 17
Por qué lo llama mejora recursiva
La distinción que plantea VeriLoop no es simplemente que un agente pueda generar varios parches. En su enfoque, la evidencia solo importa si cambia cómo el sistema investigará, juzgará y corregirá el trabajo posterior; no si se limita a adornar una conclusión ya elegida. 1
De ahí surgen tres niveles distintos:
- Ensayo y error: un parche falla y el sistema genera otro candidato.
- Éxito de verificación: un candidato supera las comprobaciones seleccionadas.
- Mejora gobernada por evidencia: la contraevidencia cambia el método de la siguiente ronda —el planteamiento de la tarea, el foco del diagnóstico, la evidencia admisible, la restricción de reparación o la puerta de validación—, y ese método revisado sigue expuesto a futuras refutaciones.
La idea encaja con una visión falsacionista de la ingeniería: una prueba debe poder refutar la hipótesis actual, mientras que superar una prueba aporta evidencia para un candidato bajo unas comprobaciones concretas, no una demostración universal. El efecto práctico que busca el sistema es una gestión disciplinada del estado: separar observaciones y conclusiones, preservar lo que se ha validado y hacer que las hipótesis fallidas condicionen el siguiente intento. 1
20
21
La afirmación más fuerte —que esos cambios metodológicos se generalizan ampliamente entre repositorios o constituyen una mejora recursiva autónoma en sentido general— no queda demostrada por la información pública aportada.
Pesos abiertos, control de ejecución cerrado
El proyecto separa un backend de modelo reutilizable de un plano de control que lo coordina. El modelo y los artefactos PEFT públicos permiten experimentar con razonamiento sobre repositorios y generación de artefactos. El Self-Harness de producción, que no se ha abierto, contiene la orquestación que compila paquetes de trabajo, mantiene el estado de tareas y versiones, enruta la evidencia, programa etapas, aplica validaciones y gestiona reversiones. 3
21
23
La consecuencia para la reproducibilidad es relevante: publicar un modelo no equivale a publicar el agente completo que se evaluó. También delimita mejor la afirmación pública del proyecto: Coder-E1 es el modelo especializado para código; Self-Harness es el sistema de ejecución que regula su uso. Hasta que esa pila de control esté disponible o sea replicada de forma independiente, los benchmarks deben interpretarse como resultados del sistema completo, no como una propiedad inherente del checkpoint abierto. 1
21
23
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
La gente también pregunta
¿Cuál es la respuesta corta a "Por qué los resultados de VeriLoop Coder-E1 dependen de un Self-Harness privado"?
VeriLoop Coder E1 comunica 85,20 en SWE bench Verified, 62,38 en SWE bench Pro, 76,40 en Terminal Bench 2.0 y 33,63 en DeepSWE.
¿Cuáles son los puntos clave a validar primero?
VeriLoop Coder E1 comunica 85,20 en SWE bench Verified, 62,38 en SWE bench Pro, 76,40 en Terminal Bench 2.0 y 33,63 en DeepSWE. La parte pública incluye un modelo basado en Qwen3.6 27B y adaptadores PEFT especializados; la capa cerrada coordina el estado de la tarea, las pruebas, la evidencia, la validación y la reversión de cambios.