AnswersPublished14 sources
Huawei öppnar träningsstacken för openPangu-2.0
Huawei släpper kod för förträning, övervakad finjustering och förstärkningsinlärning för openPangu 2.0 på Ascend. Pro har cirka 505 miljarder parametrar, varav 18 miljarder aktiveras per token.
Publicerad avRedigerad med GPT-6 LunaBilder genererade med GPT Image 2
Research answer
Key takeaways
- Huawei släpper kod för förträning, övervakad finjustering och förstärkningsinlärning för openPangu 2.0 på Ascend.
- Pro har cirka 505 miljarder parametrar, varav 18 miljarder aktiveras per token. Flash har 92 miljarder totalt och 6 miljarder aktiva.
- Båda modellkorten anger ett kontextfönster på 512 000 tokens och cirka 34 biljoner tokens i förträningen.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Huawei open-source for openPangu-2.0 on September 28, 2026, and how does the new Ascend-native pretraining, supervised fine-tuning. Article summary: On September 28, 2026, Huawei open-sourced **Ascend-native code for openPangu-2.0 pretraining, supervised fine-tuning (SFT), and post-training reinforcement learning (RL)**. That is a training-stack release: the earlier . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Huaweis besked den 28 september 2026 innebär att utvecklare får tillgång till kod för förträning, övervakad finjustering (SFT) och förstärkningsinlärning (RL) efter grundträningen för openPangu-2.0. Det skiljer sig från de tidigare släppen av Pro och Flash, som främst gav tillgång till modellvikter och inferenskod – alltså material för att köra modellerna. Den nya koden är inriktad på själva träningen och vidareutvecklingen, på Huaweis Ascend-plattform. 1
2
27
Kod för flera steg i modellträningen
Projektet openPangu-2.0-Training stöder förträning och SFT, medan openPangu-2.0-RL fokuserar på förstärkningsinlärning efter träningen. Båda är avsedda för Huaweis Ascend-baserade träningsmiljö. 1
Det här är alltså mer än ett nytt modellsläpp: koden ger utvecklare verktyg för fler delar av modellernas livscykel. Men beskedet beskriver projektens inriktning – det fastslår inte i sig vilken beräkningskapacitet, vilka data eller vilka inställningar som krävs för att återskapa de ursprungliga träningskörningarna. 1
Pro och Flash: modellernas storlek
Modellkorten beskriver både Pro och Flash som blandexpertsmodeller, eller MoE-modeller. I en sådan modell aktiveras bara en del av parametrarna för varje token. 19
27
| Modell | Parametrar totalt | Aktiva parametrar per token | Kontextfönster | Tokens i förträningen |
|---|---|---|---|---|
| openPangu-2.0-Pro | cirka 505 miljarder | cirka 18 miljarder | 512 000 tokens | cirka 34 biljoner |
| openPangu-2.0-Flash | cirka 92 miljarder | cirka 6 miljarder | 512 000 tokens | cirka 34 biljoner |
Uppgiften om cirka 34 biljoner tokens gäller för vardera modellen, inte för dem tillsammans. 19
27
Modellkorten beskriver också efterträningen
Enligt modellkorten genomgår Pro och Flash först en gemensam SFT-fas som ska förena så kallat långsamt och snabbt tänkande. Därefter följer flera specialiserade RL-steg och online policy distillation (OPD), en metod för att föra samman förmågor från olika modeller eller träningsspår. 19
27
Det är modellkortens beskrivning av hur modellerna tränats vidare. Koden för träning och RL som Huawei nu släppt är ett separat besked. 19
27
1
Arkitekturen enligt modellkorten
Modellkorten anger att modellerna kombinerar multi-head latent attention (MLA) med ett lagerindelat förhållande på 1:2 mellan DSA- och SWA-attention. SWA, eller glidande fönster-attention, hanterar närliggande kontext, medan de glesare DSA-lagren samlar information över längre avstånd. 19
27
Korten nämner också en fyrströms mHC-arkitektur, en MTP-modul med tre huvuden och optimeraren Muon. Det här är rapporterade designegenskaper hos modellerna – inte funktioner som Huawei särskilt presenterade i samband med kodsläppet i september. 19
27
Vad Ascend-utvecklare kan göra nu
Med de tidigare släppta vikterna och inferenskoden kunde utvecklare köra de publicerade Pro- och Flash-modellerna. De nya projekten utökar verktygslådan med kod för förträning, SFT och RL-baserad efterträning. Det öppnar för arbete med fler steg i modellutvecklingen på Ascend, även om källorna inte specificerar alla arbetsflöden som stöds eller vilka hårdvarukrav de har. 1
2
27
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Huawei öppnar träningsstacken för openPangu-2.0"?
Huawei släpper kod för förträning, övervakad finjustering och förstärkningsinlärning för openPangu 2.0 på Ascend.
What are the key points to validate first?
Huawei släpper kod för förträning, övervakad finjustering och förstärkningsinlärning för openPangu 2.0 på Ascend. Pro har cirka 505 miljarder parametrar, varav 18 miljarder aktiveras per token. Flash har 92 miljarder totalt och 6 miljarder aktiva.
What should I do next in practice?
Båda modellkorten anger ett kontextfönster på 512 000 tokens och cirka 34 biljoner tokens i förträningen.