AntwortenVeröffentlicht18 Quellen
VeriLoop Coder-E1: Die starken Werte hängen am geschlossenen Self-Harness
Die gemeldeten Werte von 85,20 bei SWE bench Verified, 62,38 bei SWE bench Pro, 76,40 bei Terminal Bench 2.0 und 33,63 bei DeepSWE beziehen sich auf das Gesamtsystem aus Modell und Self Harness – nicht nachweislich au... Öffentlich verfügbar sind das auf Qwen3.6 27B basierende Modell und spezialisierte PEFT Artefakte.
Veröffentlicht vonBearbeitet mit GPT-5.6 TerraBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Die gemeldeten Werte von 85,20 bei SWE bench Verified, 62,38 bei SWE bench Pro, 76,40 bei Terminal Bench 2.0 und 33,63 bei DeepSWE beziehen sich auf das Gesamtsystem aus Modell und Self Harness – nicht nachweislich au...
- Öffentlich verfügbar sind das auf Qwen3.6 27B basierende Modell und spezialisierte PEFT Artefakte.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Tsinghua Shenzhen International Graduate School Intelligent Robotics Laboratory’s open-source VeriLoop Coder-E1—built on Qwen3.6-27B. Article summary: VeriLoop Coder-E1’s headline scores appear to be results of a complete prototype agent system—not of the downloadable 27B checkpoint alone. The reported gains come from pairing narrow-domain PEFT behavior modules with a . Topic tags: general, education, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, water
VeriLoop Coder-E1 sollte weniger als einzelnes Modell denn als Modellschicht eines größeren Agentensystems für Reparaturen in Code-Repositories verstanden werden. Das Team der Tsinghua Shenzhen International Graduate School meldet 85,20 bei SWE-bench Verified, 62,38 bei SWE-bench Pro, 76,40 bei Terminal-Bench 2.0 und 33,63 bei DeepSWE. Diese Werte gelten für das evidenzgesteuerte VeriLoop-Setup, dessen produktiver Self-Harness nicht als Open Source verfügbar ist. 1
21
Der entscheidende Unterschied: Gewichte oder Gesamtsystem?
Das öffentliche Modell ist ein auf Qwen3.6-27B aufbauendes Code-Modell mit 27 Milliarden Parametern. Es ist für Code-Reasoning, das Verstehen von Repositories und die Erzeugung von Entwicklungsartefakten gedacht. Laut den Materialien auf Hugging Face handelt es sich um ein spezialisiertes Open-Source-Modell für Software Engineering unter der Apache-2.0-Lizenz. 5
21
Die Projektdokumentation bezeichnet den Self-Harness jedoch als steuernde Ausführungsschicht. Sie macht aus der Modellausgabe einen begrenzten, evidenzgestützten Engineering-Prozess. Der öffentlich zugängliche Evidence-Binding-Adapter stellt ausdrücklich klar, dass er innerhalb der VeriLoop-Harness-Laufzeit eingesetzt werden soll – und kein Ersatz für den vollständigen Runtime-, Validator-, Evidenz-, Rollback-, Sandbox- und Observability-Stack ist. 21
23
Die Benchmarkwerte lassen sich deshalb nicht als Beleg dafür lesen, dass sich die veröffentlichten Ergebnisse durch bloßes Laden des herunterladbaren Checkpoints reproduzieren lassen. Die verfügbaren Quellen stützen eine engere Aussage: Die berichtete Leistung entsteht aus Modell plus gesteuertem Workflow. Eine unabhängige Reproduktion nur mit den öffentlichen Gewichten ist in den vorliegenden Materialien nicht belegt.
Was die spezialisierten PEFT-Adapter beitragen
Während einer Reparaturaufgabe soll nicht fortlaufend das Basismodell verändert werden. VeriLoop beschreibt stattdessen eine feste Qwen-Basis, ergänzt durch abnehmbare, fähigkeitsspezifische PEFT-Schichten (Parameter-Efficient Fine-Tuning). Öffentlich benannt werden vier Bereiche: ToolSpec, Uncertainty, Rollback und Evidence Binding. 5
20
24
Diese Adapter sollen das Modell funktional besser auf typische Entscheidungen und Artefakte im Software Engineering ausrichten:
- Werkzeugverträge: Aktionen, Eingaben, Einschränkungen und Abnahmekriterien für Tools präzise formulieren.
- Umgang mit Unsicherheit: vorläufige Diagnosen klar von gesicherten Befunden trennen.
- Evidenzbindung: Aussagen mit Ausführungsbelegen verknüpfen sowie ein explizites Urteil und einen begrenzten nächsten Schritt erzeugen.
- Rollback-Bewusstsein: einen nicht validierten Patch nicht vorschnell als neuen, gültigen Repository-Stand behandeln.
20
Das ist eine Spezialisierungsstrategie, aber keine vollständige öffentliche Offenlegung des Trainingskorpus oder der Adapter-Implementierung. Die Releases belegen die beschriebenen Fähigkeiten und ihre vorgesehene Rolle, reichen aber nicht aus, um jede Trainingsentscheidung unabhängig zu prüfen. 20
24
So arbeitet die „Evidence-Governed Spiral“
Die zentrale Idee besteht darin, Code-Reparatur in eine Folge klar begrenzter und testbarer Arbeitspakete zu zerlegen. Statt ein Modell einfach wiederholt um einen neuen Patch zu bitten, muss jede Änderung geprüft werden. Fehler in Tests und Werkzeugausgaben fließen in den nächsten Reparaturzyklus ein. 1
3
21
Vereinfacht lässt sich der Ablauf so lesen:
- Arbeitspaket erstellen: Der Harness bündelt Ticket, Repository-Kontext, Schnittstellenbeschränkungen und Abnahmekriterien in einem strukturierten Paket.
3
- Begrenzten Änderungsvorschlag erzeugen und ausführen: Das Modell schlägt einen Patch oder ein anderes Artefakt vor; anschließend werden passende Repository-Werkzeuge und Tests gestartet.
1
- Gegenevidenz als Korrektiv nutzen: Fehlgeschlagene Tests, Diagnosen, Tool-Quittungen und Schnittstellenkonflikte stellen die aktuelle Diagnose oder den Patch infrage – statt lediglich einen unstrukturierten Neuversuch auszulösen.
- Nächstes Paket neu kompilieren: Der nächste Durchlauf berücksichtigt das vorherige Artefakt, Fehler, Quittungen, Gegenevidenz und neue Einschränkungen.
- Lokal reparieren und verifizieren: Das System konzentriert sich auf den betroffenen Problembereich, testet die Änderung und akzeptiert oder verwirft sie anhand von Validierungs- und Regressionstests.
- Behalten oder zurückrollen: Besteht ein Kandidat die erforderlichen Prüfungen nicht, wird er überarbeitet oder verworfen – nicht stillschweigend als Fortschritt übernommen.
Für DeepSWE nennt der veröffentlichte Evaluierungsdatensatz 38 bestandene Aufgaben von 113; alle nicht bestandenen Ergebnisse wurden als Fehlschläge gewertet. Das ergibt 33,6283 % und entspricht damit dem berichteten Wert von 33,63. Der Eintrag kennzeichnet das Ergebnis allerdings als selbst veröffentlicht. 17
Warum das Team von rekursiver Selbstverbesserung spricht
VeriLoops Anspruch ist nicht bloß, dass ein Agent mehrere Patches erzeugen kann. Im Verständnis des Teams wird Evidenz erst dann relevant, wenn sie verändert, wie das System spätere Arbeit untersucht, beurteilt und korrigiert – und nicht, wenn sie eine bereits gewählte Schlussfolgerung nur nachträglich schmückt. 1
Daraus ergeben sich drei unterschiedliche Maßstäbe:
- Versuch und Irrtum: Ein Patch scheitert, also wird ein weiterer Kandidat erzeugt.
- Erfolgreiche Verifikation: Ein Kandidat besteht die ausgewählten Prüfungen.
- Evidenzgesteuerte Verbesserung: Gegenevidenz verändert die nächste Methode – etwa Aufgabenrahmen, Diagnosefokus, zulässige Belege, Reparaturgrenzen oder Validierungsschranken. Auch die geänderte Methode bleibt für spätere Gegenbelege offen.
Das passt zu einer falsifikationsorientierten Sicht auf Engineering: Ein Test sollte eine aktuelle Hypothese widerlegen können. Ein bestandenes Ergebnis ist Evidenz für einen Kandidaten unter konkreten Prüfbedingungen, aber kein allgemeingültiger Beweis. Praktisch geht es um diszipliniertes Zustandsmanagement: Beobachtungen von Schlussfolgerungen trennen, validierte Ergebnisse bewahren und gescheiterte Hypothesen den nächsten Versuch einengen lassen. 1
20
21
Die weitergehende Behauptung, solche Änderungen der Methode ließen sich breit auf unterschiedliche Repositories übertragen oder seien bereits autonome rekursive Selbstverbesserung im allgemeinen Sinn, wird durch die hier vorliegenden öffentlichen Informationen nicht belegt.
Warum das Modell offen ist, der Harness aber nicht
Das Projekt trennt einen wiederverwendbaren Modell-Backend von der Steuerungsebene, die dessen Einsatz koordiniert. Modell und öffentliche PEFT-Artefakte erlauben Experimente mit Repository-Reasoning und der Erzeugung von Entwicklungsartefakten. Der nicht veröffentlichte Produktions-Harness enthält dagegen die Orchestrierung: Er kompiliert Arbeitspakete, verwaltet Aufgaben- und versionierte Zustände, leitet Evidenz weiter, plant Stufen, setzt Validierungen durch und steuert Rollbacks. 3
21
23
Für die Reproduzierbarkeit ist diese Grenze entscheidend: Ein veröffentlichtes Modell ist nicht dasselbe wie ein veröffentlichter, vollständig evaluierter Agent. Damit wird auch die öffentliche Aussage präziser: Coder-E1 ist das spezialisierte Code-Modell; Self-Harness ist das Ausführungssystem, das seinen Einsatz steuert. Solange dieser Kontroll-Stack nicht verfügbar oder unabhängig nachgebaut ist, sollten die Benchmarkwerte als Resultate auf Systemebene gelten – nicht als inhärente Eigenschaft des offenen Checkpoints allein. 1
21
23
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „VeriLoop Coder-E1: Die starken Werte hängen am geschlossenen Self-Harness“?
Die gemeldeten Werte von 85,20 bei SWE bench Verified, 62,38 bei SWE bench Pro, 76,40 bei Terminal Bench 2.0 und 33,63 bei DeepSWE beziehen sich auf das Gesamtsystem aus Modell und Self Harness – nicht nachweislich au...
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Die gemeldeten Werte von 85,20 bei SWE bench Verified, 62,38 bei SWE bench Pro, 76,40 bei Terminal Bench 2.0 und 33,63 bei DeepSWE beziehen sich auf das Gesamtsystem aus Modell und Self Harness – nicht nachweislich au... Öffentlich verfügbar sind das auf Qwen3.6 27B basierende Modell und spezialisierte PEFT Artefakte.