Huawei åbner for flere trin i træningen af openPangu 2.0

Huawei har frigivet kode til flere centrale trin i udviklingen af openPangu 2.0: fortræning, superviseret finjustering (SFT) og forstærkningslæring (RL) efter træningen. Koden er udviklet til Huaweis Ascend-miljø. Forskellen fra de tidligere Pro- og Flash-udgivelser er, at de især gav adgang til færdige modelvægte og kode til at køre modellerne – mens de nye projekter åbner for arbejde med træning og tilpasning. 1227

Hvad er frigivet?

Projektet openPangu-2.0-Training understøtter fortræning og SFT, hvor modellen finjusteres på udvalgte eksempler. openPangu-2.0-RL er rettet mod efterfølgende træning med forstærkningslæring. Begge projekter er lavet til Huaweis Ascend-træningsmiljø. 1

Det er altså mere end endnu en modeludgivelse: Udviklere får kode til dele af processen, der bruges til at træne og tilpasse modeller. Kildematerialet beskriver projekternes overordnede formål, men fastslår ikke i sig selv, hvilke computerressourcer eller konfigurationer der skal til for at genskabe de oprindelige træningsforløb. 1

Pro og Flash i tal

Begge openPangu 2.0-varianter beskrives i modelkortene som MoE-modeller – en arkitektur, hvor kun en del af modellens parametre aktiveres for hvert token. Her er de oplyste specifikationer: 1927

Model	Parametre i alt	Aktive parametre pr. token	Kontekstvindue	Oplyst mængde træningstokens
openPangu-2.0-Pro	Ca. 505 mia.	Ca. 18 mia.	512.000 tokens	Ca. 34 billioner
openPangu-2.0-Flash	Ca. 92 mia.	Ca. 6 mia.	512.000 tokens	Ca. 34 billioner

De cirka 34 billioner tokens gælder for hver model – ikke som en samlet pulje for Pro og Flash. 1927

Eftertræning og arkitektur

Modelkortene beskriver et SFT-trin, der skal forene såkaldt langsom og hurtig tænkning. Derefter følger flere specialiserede RL-trin og online policy distillation (OPD), som bruges til at samle forskellige kompetencer. Det er modelkortenes beskrivelse af træningsforløbet; den nye frigivelse gør samtidig trænings- og RL-kode tilgængelig. 19271

Ifølge modelkortene kombinerer Pro og Flash multi-head latent attention (MLA) med lag af DSA- og sliding-window-attention (SWA) i forholdet 1:2. SWA håndterer lokal kontekst, mens de sparsomme DSA-lag samler information fra længere afstande. 1927

Kortene nævner også en mHC-arkitektur med fire strømme, en MTP-del med tre hoveder og Muon-optimeringsalgoritmen. Det er beskrevne designegenskaber ved modellerne – ikke nye funktioner, der først blev annonceret med kodefrigivelsen i september. 1927

Hvad betyder det for Ascend-udviklere?

Med modelvægte og inferenskode kunne udviklere tidligere hente Pro eller Flash og køre modellen. De nye projekter udvider værktøjskassen til også at omfatte fortræning, SFT og RL-eftertræning. Dermed kan Ascend-udviklere arbejde med flere dele af modellens livscyklus frem for kun at bruge et færdigt checkpoint til inferens. 1227

Kilderne beskriver dog ikke alle understøttede arbejdsgange eller de konkrete hardwarekrav. Den nye kode giver derfor adgang til flere træningsværktøjer, men er ikke i sig selv dokumentation for, at de oprindelige træningsforløb kan genskabes uden yderligere ressourcer og oplysninger. 1