openPangu-2.0-Pro: Offenes Modell für Ascend – aber noch keine vollständig reproduzierbare Trainingspipeline

Huawei hat mit openPangu-2.0-Pro mehr als nur einen Modell-Checkpoint freigegeben. Der Release eröffnet einen substanziellen Weg, ein großes Sprachmodell auf Huaweis Ascend-Plattform zu prüfen und einzusetzen. Eine schlüsselfertige Anleitung, den ursprünglichen Trainingslauf in Frontier-Größe exakt nachzubauen, ist er jedoch nicht.

Die zentrale Einordnung ist wichtig: Pro ist ein Mixture-of-Experts-Modell (MoE) mit rund 505 Milliarden Gesamtparametern. Pro Token werden davon ungefähr 18 Milliarden Parameter aktiviert. Das Modell unterstützt ein Kontextfenster von 512K Token und wurde laut Modellkarte mit etwa 34 Billionen Token trainiert. 21

Was Huawei veröffentlicht hat

Huawei gab am 31. Juli 2026 die offene Veröffentlichung von Modellgewichten, Basis-Inferenzcode und technischem Bericht für openPangu-2.0-Pro bekannt. Weitere Komponenten von openPangu 2.0 sollen schrittweise über die Open-Source-Kanäle bereitgestellt werden. 12

Die drei Artefakte erfüllen unterschiedliche praktische Zwecke:

• Gewichte erlauben es Organisationen, das fertig trainierte Modell zu evaluieren und zu betreiben.
• Inferenzcode liefert einen Implementierungspfad für die vorgesehene Ascend-Umgebung.
• Technikbericht und Modelldokumentation beschreiben Architektur und veröffentlichte Designentscheidungen. 1221

Auf der Entwicklerkonferenz HDC 2026 hatte Huawei zudem eine stufenweise Öffnung von sieben Komponenten angekündigt, darunter Code für Vortraining, Nachtraining und Trainingsoperatoren. 210 Sollten diese Bestandteile in nutzbarer Form vollständig erscheinen, käme das Projekt einem durchgängigen Stack vom Training bis zur Inferenz deutlich näher als reine Gewichts-Releases.

Warum „vollständig reproduzierbar“ derzeit zu weit geht

Ein Modell mit offenen Gewichten ist nicht automatisch auf Trainingsniveau reproduzierbar. Herunterladbare Gewichte belegen, dass der veröffentlichte Checkpoint getestet werden kann. Sie legen aber nicht sämtliche Bedingungen offen, die nötig waren, um ihn erneut zu erzeugen.

Für die Wiederholung eines Vortrainings über 34 Billionen Token bräuchte es mindestens die exakten Daten oder eine reproduzierbare Spezifikation ihrer Erzeugung, vollständige Implementierungen für Training und Nachtraining, Hyperparameter, Cluster-Topologie, Versionen von Software und Compilern, Konfigurationen für verteiltes Training, spezialisierte Operatoren, ein Evaluierungssetup und ausreichend kompatible Hardware. Die bisher genannten Materialien umfassen Gewichte, Basis-Inferenzcode und Bericht; zusätzliche Komponenten beschreibt Huawei als schrittweise erscheinend. 1221

Die treffendste aktuelle Beschreibung lautet daher: ein Ascend-orientierter offener Modell-Release mit angekündigtem Weg zu größerer Transparenz im gesamten Stack. Er ist kein Nachweis dafür, dass externe Organisationen den ursprünglichen Trainingslauf heute unabhängig reproduzieren können.

Architektur für 512K Kontext: Kapazität ohne volle Rechenlast

openPangu-2.0-Pro kombiniert eine sehr große Gesamtparameterzahl mit Mechanismen, die Aufwand für Textgenerierung und lange Kontexte begrenzen sollen.

MoE: Nicht alle Parameter arbeiten bei jedem Token

Bei MoE-Modellen wird jedes Token nur an einen Teil der Expertensysteme weitergeleitet. Die Modellkarte nennt für Pro rund 505 Milliarden Gesamtparameter, aber etwa 18 Milliarden aktivierte Parameter je Token. 21

Dadurch wird das Modell nicht klein: Speicherung, Bereitstellung und Kommunikation eines 505B-Modells erfordern weiterhin erhebliche Infrastruktur. Im Vergleich zu einem dichten Modell gleicher Gesamtgröße sinkt jedoch die Parameter-Rechenarbeit pro einzelnes Token.

DSA und SWA für lokalen und globalen Kontext

Das Modell behält MLA bei und kombiniert DSA mit Sliding-Window-Attention (SWA) im Schichtverhältnis 1:2. Huawei zufolge modellieren SWA-Schichten vor allem lokale Zusammenhänge; DSA-Schichten sollen spärliche globale Kontextinformationen erfassen. Ziel sei es, Rechenaufwand, Speicherbedarf und Speicherzugriffe bei langen Kontexten zu senken, ohne die Genauigkeit zu verlieren. 21

Das adressiert das Kernproblem eines 512K-Kontextfensters: Volle Attention über jedes Token wird sehr schnell teuer. Lokale Attention verarbeitet nahe Informationen vergleichsweise günstig, während spärliche globale Mechanismen den Zugriff auf weiter entfernte relevante Inhalte erhalten sollen.

Viersträngige Residualtopologie, Multi-Token-Prediction und Muon

Huawei beschreibt außerdem eine viersträngige mHC-Residualtopologie, die Vielfalt der Repräsentationen und Generalisierungsfähigkeit verbessern soll. Das Modul für Multi-Token-Prediction mit drei Köpfen sagt zusätzliche künftige Token voraus und soll die Inferenz beschleunigen. Als Optimierer für das Training nennt die Modellkarte Muon mit dem Ziel einer schnelleren Konvergenz. 21

Dabei handelt es sich um Architektur- und Optimierungsangaben aus Huaweis veröffentlichten Materialien, nicht um unabhängig bestätigte Belege für einen bestimmten Geschwindigkeitsgewinn in jeder Umgebung. Durchsatz und Latenz hängen wesentlich von Beschleunigerkonfiguration, Präzision, Batching, Kontextlänge, Anfrageprofil und Serving-Software ab.

Wo Agenten mit langem Kontext nützlich sein könnten

Ein Fenster von 512K Token kann einem Agenten erlauben, deutlich mehr Material in einer Sitzung zu berücksichtigen: etwa Handbücher, Richtlinien, Protokolle, frühere Werkzeugausgaben und Spezifikationen. Das kann aggressives Aufteilen von Dokumenten reduzieren, ersetzt aber weder Retrieval noch Berechtigungskonzepte, Quellenprüfung oder menschliche Freigaben.

Mögliche Anwendungsfelder sind:

• Öffentliche Verwaltung: unterstützte Auswertung von Verordnungen, Fallmaterial, Stellungnahmen und behördenübergreifender Dokumentation – mit strikten Zugriffskontrollen und nachvollziehbaren menschlichen Entscheidungen.
• Finanzwesen: Sichtung von Research, Unternehmensmeldungen, Verträgen und Compliance-Unterlagen. Nicht verifizierte Modellausgaben sollten jedoch nicht unmittelbar in Handels-, Kredit- oder Regulierungsentscheidungen einfließen.
• Industrie und Energie: Zusammenführung von Gerätehandbüchern, Alarmhistorien, Wartungsakten, Prozessdokumenten und Schichtberichten für Analyse und Planung.
• Gesundheitswesen: Zusammenfassungen von Fachliteratur und longitudinalen Patientenakten unter klinischer Aufsicht – nicht autonome Diagnosen oder Therapieentscheidungen.
• Entwicklung autonomer Fahrzeuge: Offline-Auswertung von Testlogs, Szenariobeschreibungen, Sicherheitsargumentationen und technischer Dokumentation, nicht als Ersatz für ein validiertes Echtzeit-Fahrsystem.

Trotz der sparsamen Aktivierung dürfte Pro für viele kleinere Organisationen schwierig selbst zu hosten sein. Huawei veröffentlichte daher auch die kleinere Variante openPangu-2.0-Flash: Sie verfügt über 92 Milliarden Gesamtparameter und 6 Milliarden aktivierte Parameter pro Token und könnte für Evaluierung und Einsatz leichter zugänglich sein. 1520

Softwareentwicklung: hilfreicher Assistent, kein autonomer Maintainer

Huawei berichtet für die Thinking-Version von openPangu-2.0-Pro einen Wert von 68,5 bei SWE-bench Verified. 24 Das ist ein bemerkenswertes Benchmark-Ergebnis, aber kein Beleg dafür, dass das Modell komplexe Produktionssoftware zuverlässig eigenständig verantworten kann.

Reale Repositories hängen von korrekt eingerichteten Umgebungen, Abhängigkeiten, Testausführung, Sicherheitsprüfungen, Architekturentscheidungen, wechselnden Produktanforderungen und Fehlersuche über viele Schritte hinweg ab. Sinnvoller ist daher ein überwachter Coding-Agent: mit auf das Repository begrenzten Rechten, isolierter Ausführung, automatisierten Tests, statischer Analyse, Code-Review und Rückfallverfahren – nicht mit autonomem Zusammenführen von Änderungen.

Warum der gestufte Release eine Ökosystemstrategie ist

Der strategische Wert liegt nicht allein in den Gewichten. Ein Ascend-natives Referenzmodell kann Entwickler dazu bewegen, Workloads auf Ascend zu entwickeln, zu testen und zu optimieren. Diese Workloads schaffen wiederum Bedarf an besseren Laufzeitumgebungen, Operatoren, Werkzeugen und Managed Services. Huawei verweist Entwickler, Unternehmenspartner und Forschende ausdrücklich auf die Ascend-Tribe-Community und das MaaS-Angebot von Huawei Cloud für Download, Nutzung und Feedback. 12

Mit Flash und Pro in unterschiedlichen Größenordnungen erweitert Huawei den Kreis möglicher Anwender. Die geplanten Komponenten für Training, Nachtraining und Operatoren zielen zugleich auf jene Softwareschichten, die darüber entscheiden, ob eine Hardwareplattform für Modellbauer praktisch nutzbar ist. 1015

openPangu 2.0 ist deshalb vor allem als Versuch zu verstehen, ein Entwicklungsökosystem aus Ascend und Pangu zu stärken. Die Offenheit ist bereits für Einsatz, Prüfung und Experimente relevant. Ob daraus tatsächlich vollständige Reproduzierbarkeit wird, lässt sich aber erst bewerten, wenn noch fehlender Code, Konfigurationen und datenbezogene Details verfügbar sind – und unabhängige Gruppen testen, was sich tatsächlich nachbauen lässt.