AntwortenVeröffentlicht23 Quellen
SenseNova-Loop-9B-Preview: Mehr Rechentiefe durch wiederverwendete Schichten
Das am 30. Oktober 2026 veröffentlichte Modell führt einen gemeinsamen Block aus 24 Decoder Schichten zweimal aus: 32 unterschiedliche Schichten ergeben so 56 Schichtenausführungen pro Durchlauf.
Veröffentlicht vonBearbeitet mit GPT-6 LunaBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Das am 30. Oktober 2026 veröffentlichte Modell führt einen gemeinsamen Block aus 24 Decoder Schichten zweimal aus: 32 unterschiedliche Schichten ergeben so 56 Schichtenausführungen pro Durchlauf.
- Die Gewichte des wiederholten Blocks werden geteilt. Das erhöht die Rechentiefe, bedeutet aber nicht automatisch geringeren Speicherbedarf während der Ausführung oder höhere Geschwindigkeit.
- SenseTimes Vergleiche mit größeren Modellen beruhen auf ausgewählten, vom Unternehmen berichteten Benchmarks.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is SenseTime’s SenseNova-Loop-9B-Preview, open-sourced on October 30, 2026, and how do its Apache 2.0 weights on Hugging Face and code. Article summary: SenseNova-Loop-9B-Preview is SenseTime’s open-weight multimodal model for long-context and agent workflows, released on October 30, 2026, with Apache 2.0 weights on Hugging Face and a public GitHub repository.[6][12][7][. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
SenseNova-Loop-9B-Preview ist ein multimodales Modell von SenseTime, das für lange Kontexte und agentische Arbeitsabläufe gedacht ist. Der zentrale Kniff steckt im Decoder: Ein mittlerer Block aus 24 Schichten wird mit denselben Gewichten zweimal ausgeführt. So kommt das Modell auf 56 Schichtenausführungen pro Vorwärtsdurchlauf, obwohl es 32 unterschiedliche Decoder-Schichten hat.7
45
SenseTime veröffentlichte das Modell am 30. Oktober 2026. Die Gewichte stehen auf Hugging Face bereit, der Projektcode auf GitHub; das Projekt ist unter der Apache-2.0-Lizenz gelistet.7
16
25 Die Architektur ist interessant – Aussagen, das Modell könne mit deutlich größeren Systemen mithalten, sollte man jedoch als vom Unternehmen berichtete Benchmark-Ergebnisse verstehen, nicht als allgemeine Leistungsgarantie.
Wie aus 32 Schichten 56 Ausführungen werden
Die ersten vier Decoder-Schichten laufen einmal, die Schichten 4 bis 27 zweimal mit geteilten Gewichten und die letzten vier Schichten wieder einmal. Das ergibt 56 Ausführungen: vier am Anfang, 48 im wiederholten Block und vier am Ende.45
Wichtig ist der Unterschied zwischen unterschiedlichen Schichten und Schichtenausführungen. Beim zweiten Durchlauf wird keine weitere Kopie der Gewichte für den mittleren Block gespeichert. Trotzdem bedeutet ein Rechenpfad mit 56 Ausführungen nicht automatisch, dass das Modell zur Laufzeit schneller oder ressourcenschonender ist. Das hängt unter anderem von Implementierung und Einsatzbedingungen ab.
Die Modelldokumentation nennt rund 9 Milliarden Gesamtparameter sowie 14,6 Milliarden „Inference-Parameter“.6 Das sind unterschiedliche Angaben zur Parameterzählung. Der größere Wert bedeutet weder, dass 14,6 Milliarden unabhängige Gewichte gespeichert sind, noch belegt er eine Leistung wie bei einem herkömmlichen Modell dieser Größe.
Was mHC und Attention beitragen
Im wiederholten Bereich setzt SenseTime auf sogenannte zweisträngige, manifold-beschränkte Hyperverbindungen (mHC). Zwei Residualströme führen Informationen durch die Decoderberechnungen. Erlernte Abbildungen steuern, wie die Ströme ausgelesen und miteinander vermischt werden und wie die Ausgaben der Schichten in den Zustand einfließen. Laut Projektdokumentation beschränkt eine Sinkhorn-Normalisierung die Mischung der Ströme; dokumentiert sind zwei Ströme und 20 Normalisierungsschritte.8
20
Die Dokumentation beschreibt außerdem ein hybrides Aufmerksamkeitsmuster: Auf drei Schichten mit linearer Attention folgt jeweils eine Schicht mit vollständiger Attention.32 Das ist eine Architekturbeschreibung – für sich genommen aber kein Beleg dafür, dass das Modell bei jeder Aufgabe schneller oder leistungsfähiger ist.
Eingaben, Kontextlänge und Einsatzgebiete
SenseNova-Loop-9B-Preview verarbeitet Text und Bilder und erzeugt Text. SenseTime nennt Dokumentenverständnis, Programmierung und die Interaktion mit externen Werkzeugen als vorgesehene Einsatzbereiche.7 Die dokumentierten Trainingsrezepte umfassen Sequenzen mit bis zu 262.144 Tokens sowie multimodale Eingaben und überwachte Aufgabenverläufe.
6 Laut TechNode enthielt der Trainingsmix unter anderem Text, Bilder, Code und Beispiele für den Werkzeugeinsatz.
30
Eine maximale Trainingssequenzlänge ist keine Garantie dafür, dass ein Modell jede Information aus einer Eingabe dieser Länge zuverlässig findet oder verarbeitet. Die Leistung bei langen Kontexten sollte deshalb für den jeweiligen Anwendungsfall geprüft werden.
Benchmark-Aussagen: Was sie zeigen – und was offenbleibt
SenseTime bewirbt das Modell mit einer Leistungsklasse von ungefähr 27 Milliarden Parametern und hebt Vergleiche mit Qwen3.5-27B auf WorkBuddy Bench, RaccoonPPT Bench und AutomationBench hervor.16
36 Das sind Angaben des Unternehmens zu ausgewählten Tests, kein Nachweis, dass beide Modelle bei allen Aufgaben gleichwertig sind. Die verfügbaren Informationen reichen nicht aus, um die Vergleiche unabhängig zu bewerten oder ihre Übertragbarkeit auf andere Anwendungen einzuschätzen.
Die Modelldokumentation führt Ergebnisse für Benchmarks wie BIRD-Dev, WorkBuddy Bench, AIDABench, TeamBench, Terminal Bench 2.1, T³-Banking, AutomationBench und RaccoonPPTBench auf.17 Dass ein Test in dieser Liste steht, belegt für sich genommen weder einen Sieg noch, wie das Ergebnis zustande kam. Zudem ist der technische Bericht in der Modelldokumentation noch als „TBD“ – also ausstehend – markiert.
1
Beschleunigung bei der Inferenz: der dokumentierte Stand
Laut Projektdokumentation wird Multi-Token Prediction (MTP) zur Beschleunigung der Inferenz unterstützt.6
20 Das beschreibt eine verfügbare Methode, aber keinen gemessenen Geschwindigkeitsgewinn: Die vorliegenden Angaben belegen keine konkreten Vorteile bei Latenz oder Durchsatz über verschiedene Hardware und Arbeitslasten hinweg.
Dspark und Dflash2 werden als in Entwicklung und im Training befindlich geführt; dazu gibt es passende Trainingsanleitungen.5
20 Diese zeigen, dass an Trainingspfaden gearbeitet wird. Sie belegen nicht, dass sofort nutzbare Draft-Checkpoints bereitstehen oder unabhängige Tests konkrete Beschleunigungen bestätigt haben.
Das Wichtigste für die Praxis
SenseNova-Loop-9B-Preview verfolgt einen klaren Ansatz: Ein mittlerer Decoderblock wird wiederverwendet, um die Rechentiefe zu erhöhen, ohne seine Gewichte ein zweites Mal zu speichern. Die berichteten Parameterzahlen, das Training für lange Kontexte und die Benchmark-Aussagen sollte man jedoch getrennt von Laufzeiteffizienz und unabhängig bestätigter Leistungsfähigkeit betrachten. Für den praktischen Einsatz zählen vor allem Tests mit der eigenen Aufgabe – einschließlich gemessenem Speicherbedarf, Latenz und Ergebnisqualität in der vorgesehenen Umgebung.
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „SenseNova-Loop-9B-Preview: Mehr Rechentiefe durch wiederverwendete Schichten“?
Das am 30. Oktober 2026 veröffentlichte Modell führt einen gemeinsamen Block aus 24 Decoder Schichten zweimal aus: 32 unterschiedliche Schichten ergeben so 56 Schichtenausführungen pro Durchlauf.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Das am 30. Oktober 2026 veröffentlichte Modell führt einen gemeinsamen Block aus 24 Decoder Schichten zweimal aus: 32 unterschiedliche Schichten ergeben so 56 Schichtenausführungen pro Durchlauf. Die Gewichte des wiederholten Blocks werden geteilt. Das erhöht die Rechentiefe, bedeutet aber nicht automatisch geringeren Speicherbedarf während der Ausführung oder höhere Geschwindigkeit.
Was soll ich als nächstes in der Praxis tun?
SenseTimes Vergleiche mit größeren Modellen beruhen auf ausgewählten, vom Unternehmen berichteten Benchmarks.