AnswersPublished18 sources
Cambricon sai DeepSeek-V4.1-Flashin vLLM:ään heti julkaisupäivänä
Cambriconin mukaan DeepSeek V4.1 Flash saatiin avoimeen vLLM inferenssipinoon mallin julkaisupäivänä NeuWare ajonaikaisen ympäristön, Torch MLU Ops operaattorien ja optimoitujen BangC ytimien avulla. DeepSeek V4.1 Flash on 552 miljardin perusmalliparametrin multimodaalinen MoE malli.
JulkaisijaMuokattu mallilla GPT-5.6 TerraKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- Cambriconin mukaan DeepSeek V4.1 Flash saatiin avoimeen vLLM inferenssipinoon mallin julkaisupäivänä NeuWare ajonaikaisen ympäristön, Torch MLU Ops operaattorien ja optimoitujen BangC ytimien avulla.
- DeepSeek V4.1 Flash on 552 miljardin perusmalliparametrin multimodaalinen MoE malli.
- DeepSeekin mukaan globaalin KV välimuistin koko on 890 tavua tokenia kohti. Luku kuvaa mallin suunnittelua, ei riippumatonta Cambricon klusterin suorituskykytestiä.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Cambriconin Day-0-väite kannattaa lukea ennen kaikkea integraatio- ja ohjelmistovalmiuden merkkipaaluna. Yhtiön mukaan DeepSeek-V4.1-Flash voitiin ajaa sen MLU-kiihdyttimillä avoimen lähdekoodin vLLM-inferenssipinon kautta samana päivänä, kun mallin tarkistuspiste julkaistiin. Toteutus yhdistää NeuWare-ajonaikaisen ympäristön, Torch-MLU-Opsin ja optimoidut BangC-ytimet. 13
Pelkkä mallipainojen julkaisu ei vielä tarkoita, että malli on käyttövalmis tuotantopalvelussa. Tarvitaan toimiva kiihdytinajonaikainen ympäristö, kehysoperaattorit, tuki hajautetulle ajolle sekä tehokkaat toteutukset mallin laskennallisille pullonkauloille.
Mistä Cambriconin toteutus koostuu?
Cambriconin kuvaamassa polussa on kolme kerrosta:
- NeuWare on yhtiön MLU-kiihdyttimien ohjelmistoajonaikainen ympäristö.
- Torch-MLU-Ops tuo MLU-tietoisen operaattorituen mallin osille, mukaan lukien käyttöönottoa käsittelevässä raportoinnissa mainitut Engram- ja Compressor-rakenteet.
9
- BangC-ytimet kohdistuvat MLU-arkkitehtuurin suorituskykykriittisiin operaatioihin. Cambricon kuvaa BangC:tä heterogeenisen rinnakkaisohjelmoinnin kieleksi, jolla voidaan kirjoittaa MLU:lla tehokkaasti ajettavia ohjelmia.
18
Näin vLLM-palvelu voi käyttää kiihdytinkohtaista taustatoteutusta ilman, että koko palvelupolku muutetaan yksityiseksi, kertaluonteiseksi sovellukseksi. Cambricon kertoo vLLM-työnsä kattavan myös matalan bittitarkkuuden ja sekatarkkuusinferenssin, rinnakkaisuuden optimoinnin, laajamittaisen ekspertirinnakkaisuuden sekä esitäytön ja generoinnin eriytetyn käyttöönoton. 18
Miksi DeepSeek-V4.1-Flash on vaativa palveltava?
DeepSeek-V4.1-Flash on multimodaalinen mixture-of-experts- eli MoE-malli. Sen perusmallissa on 552 miljardia parametria, ja lisäksi siinä on 196 miljardia Engram-muistiparametria. Malli käsittelee tekstiä ja kuvia, ja sen konteksti voi olla enintään miljoona tokenia. 5
8
Operoinnin kannalta ratkaiseva ero on kokonaisparametrien ja kulloinkin aktivoituvien parametrien välillä. DeepSeekin mukaan malli aktivoi esitäytössä noin 8 miljardia parametria syötetokenia kohti ja generoinnissa 16 miljardia parametria tuotettua tokenia kohti. 8 Epäsymmetrinen rakenne voi vähentää laskentaa syötepainotteisissa kuormissa verrattuna malliin, joka käyttää samaa aktiivista kapasiteettia molemmissa vaiheissa. Todellinen palvelukustannus riippuu silti esimerkiksi painojen tarkkuudesta, eräkoosta, tiedonsiirrosta, muistikapasiteetista ja työkuorman rakenteesta.
40 kerroksen kausaalinen encoder–decoder-rakenne
Mallissa on 40-kerroksinen Causal Encoder–Decoder (CED) -arkkitehtuuri: 20-kerroksinen kausaalinen enkooderi ja 20-kerroksinen dekooderi. Dekooderi ei muodosta globaaleja avain- ja arvotiloja (KV) itsenäisesti jokaisessa kerroksessaan, vaan projisoi ne enkooderin viimeisistä piilotiloista. 5
8
Valinta on keskeinen pitkän kontekstin muistikäytölle. Pitkän kontekstin inferenssiä rajoittaa usein KV-välimuisti, johon tallennetaan aiempien tokenien tilaa uusien tokenien generointia varten.
DeepSeekin KV-välimuistiväite: 890 tavua tokenilta
DeepSeekin mukaan Compressed Sparse Attention 2 -rakenteen kerrosten välinen KV-välimuistin uudelleenkäyttö ja FP4-KV-välimuisti pienentävät suurikaistaisessa muistissa (HBM) pidettävän globaalin KV-välimuistin kokoon 890 tavua tokenia kohti. Se on noin neljäsosa vastaavasta DeepSeek-V4-Flashin luvusta. 7
8
Sama tekninen aineisto kertoo, että SWA Bounded Replay pienentää SSD-levyllä tai isäntämuistissa pidettävän pysyvän KV-välimuistin noin kahdeksasosaan V4-Flashiin verrattuna. 7
Palveluoperaattorin näkökulmasta luvut viittaavat siihen, että pitkän kontekstin ja multimodaalisessa palvelussa yhtä pyyntöä kohti tarvitaan vähemmän KV-tilaa. Tällöin muistia voi jäädä useammille samanaikaisille istunnoille. Ne ovat kuitenkin DeepSeekin raportoimia mallisuunnittelun lukuja, eivät riippumattomia päästä päähän -mittauksia Cambricon-klusterista. Niistä ei voi päätellä tiettyä läpimenoa, viivettä, laatua, käytettävyyttä tai kustannusta kaikissa käyttöönottoympäristöissä.
Miten palveluoptimoinnit täydentävät toisiaan?
Cambriconin julkisissa ohjelmistomateriaaleissa nostetaan esiin useita suurten MoE-mallien vLLM-palvelulle olennaisia tekniikoita. 18
- Sekatarkkuus ja matalan bittitarkkuuden inferenssi voivat pienentää muistiliikennettä sekä painojen ja aktivaatioiden tallennustarvetta.
- Rinnakkaisuuden optimointi ja laajamittainen ekspertirinnakkaisuus jakavat mallin laskentaa ja reititettyjen ekspertien suoritusta useille kiihdyttimille.
- Laskennan ja tiedonsiirron limittäminen pyrkii pitämään laitteet työssä myös silloin, kun kollektiivista viestintää tai ekspertireitityksen dataa liikkuu työntekijöiden välillä.
- Esitäytön ja generoinnin eriyttäminen mahdollistaa syötteen käsittelyn ja tokenien vaiheittaisen generoinnin mitoittamisen erikseen.
Tekniikat ovat toisiaan täydentäviä. Esitäyttö voi olla syöte- ja muistikaistapainotteista, kun taas generointi on iteratiivista ja herkkää viiveelle. MoE-reititys taas tuo hajautetun suorituksen koordinointitarpeita. Tavoite on siksi parempi käyttöaste ja ennustettavampi palvelu samanaikaisessa käytössä – ei vain suurempi teoreettinen FLOPS-luku.
Julkisesti saatavilla oleva aineisto ei sisällä toistettavia V4.1-Flash-mittauksia Cambricon-laitteistolla esimerkiksi läpimenosta, viiveestä, mallilaadusta, klusteritopologiasta tai palvelun käytettävyydestä. Siksi “tuotantovalmis” on syytä tulkita merkiksi käyttökelpoisesta ja tuetusta käyttöönotto-polusta, ei valmiiksi todistetuksi suorituskyky- tai SLA-tasoksi. Kapasiteetti- ja palvelutasopäätöksiä ennen tarvitaan oma validointi.
Mitä PyTorch Foundationin Platinum-jäsenyys kertoo?
PyTorch Foundation ilmoitti 8. syyskuuta 2026, että Cambricon liittyi säätiöön Platinum-jäsenenä. 49 Säätiö on lisäksi kertonut Cambriconin työskennelleen vLLM-yhteisön kanssa Day-0-tuen tuomiseksi avoimen lähdekoodin malleille, kuten DeepSeek-V4:lle ja GLM-5:lle.
57
Merkitys liittyy ekosysteemiyhteensopivuuteen: kiihdytintuki on käyttäjille arvokkaampaa, kun se toimii laajasti käytettyjen julkisten kehysten ja palvelukerrosten kautta eikä vaadi erillisen toimittajakohtaisen pinon ylläpitoa. Jäsenyys ei yksin takaa jokaisen mallin tai ominaisuuden upstream-tukea, mutta se vahvistaa Cambriconin ilmoittamaa painotusta PyTorch- ja vLLM-yhteensopivuuteen.
Mitä muita malliperheitä Cambricon tukee?
Cambriconin ohjelmistomateriaaleissa mainitaan työ DeepSeek V3/V3.1-, Qwen2.5-, Qwen3-, Qwen3-Next-, GLM-4.5-, Qwen3-VL-, Flux-, Wan 2.1/2.2- ja Hunyuan-Video-mallien parissa. 18 Aineisto yhdistää kuitenkin koulutustuen ja laajemman ohjelmisto-optimoinnin. Se ei osoita, että kaikilla näillä perheillä olisi täsmälleen sama julkaisupäivän, tuotantotasoisen vLLM-inferenssin asema kuin DeepSeek-V4.1-Flashilla.
Tarkka johtopäätös on rajatumpi: Cambriconilla on ohjelmistotukijalanjälki useissa kiinalaisissa malliperheissä, mutta inferenssin saatavuus, tarkkuusmuodot, multimodaalisuus ja Day-0-status on tarkistettava jokaisen julkaisun kohdalla erikseen.
Miksi saman päivän saatavuus on tärkeää?
Klusterioperaattoreille julkaisupäivän yhteensopivuus voi lyhentää aikaa mallin julkaisusta hallittuun arviointiin jo käytössä olevalla infrastruktuurilla. Julkinen vLLM-polku tarjoaa myös tutumman perustan kapasiteetin suunnittelulle, reititykselle, havainnoitavuudelle, kvantisoinnin arvioinnille ja integraatiotestaukselle kuin räätälöity palveluhaara.
DeepSeek-V4.1-Flashissa asia korostuu, koska mallin raportoitu välimuistin pakkaus kohdistuu pitkän kontekstin palvelun keskeisiin pullonkauloihin: HBM-muistin riittävyyteen aktiivisille istunnoille sekä pysyvän välimuistin SSD- ja isäntämuistitarpeeseen. 7
8
Yksi Day-0-ilmoitus ei todista yleispätevää tuotantosuorituskykyä. Laajempi merkitys on siinä, että ajonaikaisen ympäristön, kehysoperaattorien, ydinten, hajautetun suorituksen ja palvelutyökalujen toistettava tuki voi tuoda kiihdyttimien käyttöönoton lähemmäs mallijulkaisua – etenkin, kun avoimet mallit kasvavat, harvenevat ja muuttuvat multimodaalisemmiksi.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Cambricon sai DeepSeek-V4.1-Flashin vLLM:ään heti julkaisupäivänä"?
Cambriconin mukaan DeepSeek V4.1 Flash saatiin avoimeen vLLM inferenssipinoon mallin julkaisupäivänä NeuWare ajonaikaisen ympäristön, Torch MLU Ops operaattorien ja optimoitujen BangC ytimien avulla.
What are the key points to validate first?
Cambriconin mukaan DeepSeek V4.1 Flash saatiin avoimeen vLLM inferenssipinoon mallin julkaisupäivänä NeuWare ajonaikaisen ympäristön, Torch MLU Ops operaattorien ja optimoitujen BangC ytimien avulla. DeepSeek V4.1 Flash on 552 miljardin perusmalliparametrin multimodaalinen MoE malli.
What should I do next in practice?
DeepSeekin mukaan globaalin KV välimuistin koko on 890 tavua tokenia kohti. Luku kuvaa mallin suunnittelua, ei riippumatonta Cambricon klusterin suorituskykytestiä.