Tämä artikkeli purkaa, mitä optimointeja NVIDIA otti käyttöön, mitä DeepSeek V4 -malliperhe pitää sisällään, mitkä palveluntarjoajat jo hyödyntävät parannuksia ja miten NVIDIA perustelee taloudellista ajattelua token-kustannuksen ympärillä.

Ohjelmistoparamukset viisinkertaisen säästön taustalla

NVIDIA jakaa päättelyoptimointipinonsa kolmeen kerrokseen: tuotantotoiminnot, sovelluskiihdytys ja infrastruktuurin käyttö . Näistä kerroksista 5-kertaisen parannuksen tuottaneet tekniikat ovat:

NVIDIA Dynamo -päättelyviitekehys

Dynamo on avoimen lähdekoodin hajautettu palveluviitekehys, joka eriyttää päättelyvaiheet eri näytönohjaimille. Se erottelee esitäytön (prefill) ja dekoodauksen, ohjaa pyynnöt älykkäästi oikealle GPU:lle välttääkseen turhaa laskentaa ja laajentaa GPU-muistia NVLink-pohjaisen välimuistin avulla kustannustehokkaisiin tallennuskerroksiin . Dynamo tukee SGLangia, TensorRT-LLM:ää ja vLLM:ää ja on natiivisti integroitu näiden avoimen lähdekoodin moottoreiden kanssa . Viitekehys voi kasvattaa palveltavien pyyntöjen määrää jopa 7-kertaiseksi NVIDIA Blackwellilla, kuten SemiAnalysis InferenceX -vertailussa on osoitettu .

TensorRT-LLM-optimoinnit

NVIDIA saavutti 5-kertaisen kustannussäästön tokenia kohti pelkästään TensorRT-LLM-optimoinnilla kahden kuukauden sisällä Blackwellin julkaisusta – ilman laitteistomuutosta . Datakeskusmittakaavassa 5-kertainen kustannussäästö tarkoittaa viisinkertaista tulonmuodostuskykyä samalla infrastruktuuri-investoinnilla .

Eriytetty palvelin (disaggregated serving)

Erottamalla esitäyttö ja dekoodaus eri GPU:ille eriytetty palvelin poistaa resurssikilpailun ja mahdollistaa kunkin vaiheen optimoinnin omiin tarpeisiinsa . Tämä on NVIDIA Dynamon keskeinen ominaisuus .

Laajamittainen asiantuntijarinnakkaisuus (expert parallelism)

DeepSeek V4 käyttää sekoitelma-asiantuntija-arkkitehtuuria (MoE), jossa on 384 hajautettua asiantuntijaa . Optimoidut reititykset lähettävät tokeneja asiantuntijoiden yli vähentäen turhaa laskentaa koko GPU-klusterin alueella .

NVLink-pohjainen rinnakkaisviestintä

NVIDIA:n nopea GPU-väylä mahdollistaa tehokkaan kaikille-kaikille-kommunikoinnin asiantuntijoiden välillä, mikä on kriittistä MoE-malleille, joissa asiantuntijarinnakkaisuus vaatii tiheää tiedonsiirtoa GPU:iden välillä .

NVFP4-tarkkuus

4-bittisen liukulukutarkkuuden käyttö päättelyssä vähentää muistikaistanleveyttä ja laskentavaatimuksia ilman merkittävää tarkkuustappiota . DeepSeek-V3.2-mallilla NVIDIA:n NVFP4-kvantisointi pienensi muistijalanjälkeä 1,7-kertaisesti alkuperäiseen FP8-muotoon verrattuna (415 Gt vs. 690 Gt), mikä johti merkittäviin läpäisy- ja kustannussäästöihin .

Monen tokenin ennustus (MTP)

MTP tuottaa useita tokeneita yhdellä läpikäynnillä lisäten läpäisyä. Ensimmäinen MTP-tuki DeepSeek V4:lle saapui päivänä 3 SGLangin kautta . MTP:n avulla SGLang ylitti myöhemmin 12 000 tokenia sekunnissa per GPU GB300 NVL72 -laitteistolla .

Optimoidut CUDA-ytimet

Kaikki optimoinnit eivät tulleet pelkästään NVIDIA:lta. SemiAnalysis joutui korjaamaan NVIDIA:n avoimen lähdekoodin mHC (manifold-constrained hyper-connection) -ytimen käynnistyskoodin DeepSeek V4:n uudelle arkkitehtuurille, koska TensorRT-LLM ei aluksi toiminut mallin kanssa kunnolla . Tämä yhteisön panos oli välttämätön tuotantotason päättelylle.

SGLang-palvelureseptit

LMSYS Org saavutti varmennetun 5-kertaisen läpäisyn kasvun NVIDIA GB300 NVL72 -laitteistolla SGLangia käyttäen, nostaen noin 2 200:sta 11 200:aan tokenia sekunnissa per GPU noin 50 tokenin sekuntinopeudella per käyttäjä . NVIDIA Dynamon tukimatriisi listaa konfiguraation lmsysorg/sglang:deepseek-v4-blackwell tuettuna .

Yhdistettynä nämä optimoinnit tuottavat jopa 20 kertaa korkeamman läpäisyn per GPU Blackwellilla .

DeepSeek V4 -malliperheen tekniset tiedot

DeepSeek V4 julkaistiin 24. huhtikuuta 2026 MIT-lisenssillä kaksitasoisena malliperheenä .

Lähteet:

Hybridi huomiomekanismi yhdistää tiivistetyn harvan huomion (CSA) ja voimakkaasti tiivistetyn huomion (HCA), saavuttaen vain 27 % DeepSeek-V3.2:n kertalaskentaoperaatioista miljoonan tokenin kontekstissa . Tämä tehokkuus tekee miljoonan tokenin agenttisista kontekstiriveistä laskennallisesti toteuttamiskelpoisia.

Päättelypalvelut, jotka jo käyttävät nämä optimoinnit

Useat palvelut ja moottorit ovat ottaneet NVIDIA:n ohjelmistoptimoinnit käyttöön DeepSeek V4:lle Blackwellilla:

• LMSYS Org (SGLang) – saavutti varmennetun 5-kertaisen läpäisyn kasvun NVIDIA GB300 NVL72 -laitteistolla (23.6.2026) . NVIDIA Dynamon tukimatriisi listaa konfiguraation lmsysorg/sglang:deepseek-v4-blackwell tuettuna . SGLang ylitti 12 000 tok/s per GPU samalla laitteistolla .
• NVIDIA NIM – NVIDIA:n oma päättelymikropalvelupino tarjoaa DeepSeek-V4-Pro-päätepisteitä NVIDIA API -luettelon kautta .
• vLLM – avoimen lähdekoodin päättelymoottori toimitti DeepSeek V4 -tuen päivien sisällä julkaisusta, integroituna NVIDIA Dynamoon hajautettuun päättelyyn GB200:lla .
• TensorRT-LLM – NVIDIA:n oma optimoitu ajonaikainen ympäristö, vaikkakin varhaisessa käytössä oli ongelmia mHC-ydinkoodin kanssa, jotka SemiAnalysis auttoi korjaamaan .
• DeepInfra – tarjoaa DeepSeek V4 Pro -päätepisteet hintaan 0,435 $ / miljoona syöttötokenia ja 0,87 $ / miljoona tulostetokenia .
• Together AI, Fireworks AI, Baseten – NVIDIA:n blogi mainitsee laajan käyttöönoton GPU-kiihdytettyjen pilvipäätepisteiden kautta; nämä palveluntarjoajat pienensivät token-kustannusta jopa 10-kertaisesti Hopperiin verrattuna .

Palveluntarjoajat, kuten Together AI ja Baseten, pienensivät token-kustannusta jopa 90 % Hopperiin verrattuna Blackwellin käyttöönoton jälkeen NVIDIA:n mukaan .

NVIDIA:n taloudellinen kehys agenttitekoälykuormille

NVIDIA asemoi token-kohtaisen kustannuksen tärkeimmäksi mittariksi päättelyn kokonaisomistuskustannuksille (TCO) – hyläten vanhat mittarit, kuten GPU-tuntikustannuksen tai FLOPS-per-dollari . Jensen Huang julisti, että "NVIDIA:n token-kustannus on maailman alhaisin" huhtikuussa 2026, kehystäen sen "suoraksi seuraukseksi arkkitehtuurin erinomaisuudesta ja äärimmäisestä yhteissuunnittelusta" .

Tämän mittarisiirtymän taustalla oleva ajatus kytkeytyy suoraan agenttitekoälyyn:

Agenttikuormitukset räjäyttävät päättelyn laskentaa

Kun tekoäly siirtyy yhden vastauksen antamisesta monivaiheiseen päättelyyn – suunnitteluun, kontekstin hakemiseen, työkalujen kutsumiseen, reflektointiin ja itsekorjaamiseen – tokenien määrä kyselyä kohti voi moninkertaistua 100-kertaiseksi tai jopa 1000-kertaiseksi . Yksi monivaiheinen agenttitehtävä voi maksaa päättelyssä 0,10–1,00 dollaria . Gartnerin maaliskuun 2026 analyysi vahvisti, että agenttitekoälymallit vaativat 5–30 kertaa enemmän tokeneita tehtävää kohti kuin perinteiset chatbotit .

Päättely on nyt hallitseva kustannuskeskus

Teollisuuden arviot kertovat, että 55–80 % yritysten tekoälyn GPU-kuluista menee päättelyyn, ei harjoitukseen . Deloitten mukaan päättely muodostaa noin kaksi kolmasosaa kaikesta tekoälylaskennasta vuonna 2026, kun se vuonna 2023 oli kolmannes . Päättely kattaa 80–90 % tuotantojärjestelmän elinkaarikustannuksista .

Ohjelmistoptimointi vapauttaa valtavan arvon ilman uutta laitteistoa

NVIDIA asettaa tämän strategiseksi eduksi: "NVIDIA saavutti 5-kertaisen token-kustannuksen laskun TensorRT-LLM-optimoinnilla kahden kuukauden sisällä Blackwellin julkaisusta ilman laitteistomuutosta" . Datakeskusmittakaavassa 5-kertainen token-kustannuksen lasku määrittää suoraan, ovatko agenttitekoälykuormitukset taloudellisesti kannattavia . NVIDIA:n päättelyohjelmisto laskee token-kustannusta pitkään tekoälyinfrastruktuurin käyttöönoton jälkeen .

Token-kustannus on "ainoa TCO-mittari, jolla on merkitystä"

NVIDIA väittää, että token-kustannus on ainoa mittari, joka huomioi suoraan laitteiston suorituskyvyn, ohjelmistooptimoinnin, ekosysteemituen ja tosimaailman käyttöasteen . Yhtiö julkaisee "alhaisin token-kustannus" otsikkona Blackwellin arvolupauksessa . NVIDIA B200 saavuttaa kaksi senttiä miljoonaa tokenia kohti GPT-OSS-120B-mallilla, ja arkkitehtuuri laski token-miljoonaan kustannusta 15-kertaisesti edelliseen sukupolveen verrattuna .

Yhteenveto: NVIDIA:n viesti on selvä – agenttitekoäly vaatii dramaattisesti enemmän tokeneita tehtävää kohti; ohjelmistotason päättelyoptimoinnit Blackwellilla voivat leikata nämä token-kustannukset 5-kertaisesti ilman uutta laitteistoa, mikä suoraan määrää, ovatko laajamittaiset agenttitekoälykäyttöönotot kannattavia .

Tämä artikkeli purkaa, mitä optimointeja NVIDIA otti käyttöön, mitä DeepSeek V4 -malliperhe pitää sisällään, mitkä palveluntarjoajat jo hyödyntävät parannuksia ja miten NVIDIA perustelee taloudellista ajattelua token-kustannuksen ympärillä.

Ohjelmistoparamukset viisinkertaisen säästön taustalla

NVIDIA jakaa päättelyoptimointipinonsa kolmeen kerrokseen: tuotantotoiminnot, sovelluskiihdytys ja infrastruktuurin käyttö . Näistä kerroksista 5-kertaisen parannuksen tuottaneet tekniikat ovat:

NVIDIA Dynamo -päättelyviitekehys

Dynamo on avoimen lähdekoodin hajautettu palveluviitekehys, joka eriyttää päättelyvaiheet eri näytönohjaimille. Se erottelee esitäytön (prefill) ja dekoodauksen, ohjaa pyynnöt älykkäästi oikealle GPU:lle välttääkseen turhaa laskentaa ja laajentaa GPU-muistia NVLink-pohjaisen välimuistin avulla kustannustehokkaisiin tallennuskerroksiin . Dynamo tukee SGLangia, TensorRT-LLM:ää ja vLLM:ää ja on natiivisti integroitu näiden avoimen lähdekoodin moottoreiden kanssa . Viitekehys voi kasvattaa palveltavien pyyntöjen määrää jopa 7-kertaiseksi NVIDIA Blackwellilla, kuten SemiAnalysis InferenceX -vertailussa on osoitettu .

TensorRT-LLM-optimoinnit

NVIDIA saavutti 5-kertaisen kustannussäästön tokenia kohti pelkästään TensorRT-LLM-optimoinnilla kahden kuukauden sisällä Blackwellin julkaisusta – ilman laitteistomuutosta . Datakeskusmittakaavassa 5-kertainen kustannussäästö tarkoittaa viisinkertaista tulonmuodostuskykyä samalla infrastruktuuri-investoinnilla .

Eriytetty palvelin (disaggregated serving)

Erottamalla esitäyttö ja dekoodaus eri GPU:ille eriytetty palvelin poistaa resurssikilpailun ja mahdollistaa kunkin vaiheen optimoinnin omiin tarpeisiinsa . Tämä on NVIDIA Dynamon keskeinen ominaisuus .

Laajamittainen asiantuntijarinnakkaisuus (expert parallelism)

DeepSeek V4 käyttää sekoitelma-asiantuntija-arkkitehtuuria (MoE), jossa on 384 hajautettua asiantuntijaa . Optimoidut reititykset lähettävät tokeneja asiantuntijoiden yli vähentäen turhaa laskentaa koko GPU-klusterin alueella .

NVLink-pohjainen rinnakkaisviestintä

NVIDIA:n nopea GPU-väylä mahdollistaa tehokkaan kaikille-kaikille-kommunikoinnin asiantuntijoiden välillä, mikä on kriittistä MoE-malleille, joissa asiantuntijarinnakkaisuus vaatii tiheää tiedonsiirtoa GPU:iden välillä .

NVFP4-tarkkuus

4-bittisen liukulukutarkkuuden käyttö päättelyssä vähentää muistikaistanleveyttä ja laskentavaatimuksia ilman merkittävää tarkkuustappiota . DeepSeek-V3.2-mallilla NVIDIA:n NVFP4-kvantisointi pienensi muistijalanjälkeä 1,7-kertaisesti alkuperäiseen FP8-muotoon verrattuna (415 Gt vs. 690 Gt), mikä johti merkittäviin läpäisy- ja kustannussäästöihin .

Monen tokenin ennustus (MTP)

MTP tuottaa useita tokeneita yhdellä läpikäynnillä lisäten läpäisyä. Ensimmäinen MTP-tuki DeepSeek V4:lle saapui päivänä 3 SGLangin kautta . MTP:n avulla SGLang ylitti myöhemmin 12 000 tokenia sekunnissa per GPU GB300 NVL72 -laitteistolla .

Optimoidut CUDA-ytimet

Kaikki optimoinnit eivät tulleet pelkästään NVIDIA:lta. SemiAnalysis joutui korjaamaan NVIDIA:n avoimen lähdekoodin mHC (manifold-constrained hyper-connection) -ytimen käynnistyskoodin DeepSeek V4:n uudelle arkkitehtuurille, koska TensorRT-LLM ei aluksi toiminut mallin kanssa kunnolla . Tämä yhteisön panos oli välttämätön tuotantotason päättelylle.

SGLang-palvelureseptit

LMSYS Org saavutti varmennetun 5-kertaisen läpäisyn kasvun NVIDIA GB300 NVL72 -laitteistolla SGLangia käyttäen, nostaen noin 2 200:sta 11 200:aan tokenia sekunnissa per GPU noin 50 tokenin sekuntinopeudella per käyttäjä . NVIDIA Dynamon tukimatriisi listaa konfiguraation lmsysorg/sglang:deepseek-v4-blackwell tuettuna .

Yhdistettynä nämä optimoinnit tuottavat jopa 20 kertaa korkeamman läpäisyn per GPU Blackwellilla .

DeepSeek V4 -malliperheen tekniset tiedot

DeepSeek V4 julkaistiin 24. huhtikuuta 2026 MIT-lisenssillä kaksitasoisena malliperheenä .

Lähteet:

Hybridi huomiomekanismi yhdistää tiivistetyn harvan huomion (CSA) ja voimakkaasti tiivistetyn huomion (HCA), saavuttaen vain 27 % DeepSeek-V3.2:n kertalaskentaoperaatioista miljoonan tokenin kontekstissa . Tämä tehokkuus tekee miljoonan tokenin agenttisista kontekstiriveistä laskennallisesti toteuttamiskelpoisia.

Päättelypalvelut, jotka jo käyttävät nämä optimoinnit

Useat palvelut ja moottorit ovat ottaneet NVIDIA:n ohjelmistoptimoinnit käyttöön DeepSeek V4:lle Blackwellilla:

• LMSYS Org (SGLang) – saavutti varmennetun 5-kertaisen läpäisyn kasvun NVIDIA GB300 NVL72 -laitteistolla (23.6.2026) . NVIDIA Dynamon tukimatriisi listaa konfiguraation lmsysorg/sglang:deepseek-v4-blackwell tuettuna . SGLang ylitti 12 000 tok/s per GPU samalla laitteistolla .
• NVIDIA NIM – NVIDIA:n oma päättelymikropalvelupino tarjoaa DeepSeek-V4-Pro-päätepisteitä NVIDIA API -luettelon kautta .
• vLLM – avoimen lähdekoodin päättelymoottori toimitti DeepSeek V4 -tuen päivien sisällä julkaisusta, integroituna NVIDIA Dynamoon hajautettuun päättelyyn GB200:lla .
• TensorRT-LLM – NVIDIA:n oma optimoitu ajonaikainen ympäristö, vaikkakin varhaisessa käytössä oli ongelmia mHC-ydinkoodin kanssa, jotka SemiAnalysis auttoi korjaamaan .
• DeepInfra – tarjoaa DeepSeek V4 Pro -päätepisteet hintaan 0,435 $ / miljoona syöttötokenia ja 0,87 $ / miljoona tulostetokenia .
• Together AI, Fireworks AI, Baseten – NVIDIA:n blogi mainitsee laajan käyttöönoton GPU-kiihdytettyjen pilvipäätepisteiden kautta; nämä palveluntarjoajat pienensivät token-kustannusta jopa 10-kertaisesti Hopperiin verrattuna .

Palveluntarjoajat, kuten Together AI ja Baseten, pienensivät token-kustannusta jopa 90 % Hopperiin verrattuna Blackwellin käyttöönoton jälkeen NVIDIA:n mukaan .

NVIDIA:n taloudellinen kehys agenttitekoälykuormille

NVIDIA asemoi token-kohtaisen kustannuksen tärkeimmäksi mittariksi päättelyn kokonaisomistuskustannuksille (TCO) – hyläten vanhat mittarit, kuten GPU-tuntikustannuksen tai FLOPS-per-dollari . Jensen Huang julisti, että "NVIDIA:n token-kustannus on maailman alhaisin" huhtikuussa 2026, kehystäen sen "suoraksi seuraukseksi arkkitehtuurin erinomaisuudesta ja äärimmäisestä yhteissuunnittelusta" .

Tämän mittarisiirtymän taustalla oleva ajatus kytkeytyy suoraan agenttitekoälyyn:

Agenttikuormitukset räjäyttävät päättelyn laskentaa

Kun tekoäly siirtyy yhden vastauksen antamisesta monivaiheiseen päättelyyn – suunnitteluun, kontekstin hakemiseen, työkalujen kutsumiseen, reflektointiin ja itsekorjaamiseen – tokenien määrä kyselyä kohti voi moninkertaistua 100-kertaiseksi tai jopa 1000-kertaiseksi . Yksi monivaiheinen agenttitehtävä voi maksaa päättelyssä 0,10–1,00 dollaria . Gartnerin maaliskuun 2026 analyysi vahvisti, että agenttitekoälymallit vaativat 5–30 kertaa enemmän tokeneita tehtävää kohti kuin perinteiset chatbotit .

Päättely on nyt hallitseva kustannuskeskus

Teollisuuden arviot kertovat, että 55–80 % yritysten tekoälyn GPU-kuluista menee päättelyyn, ei harjoitukseen . Deloitten mukaan päättely muodostaa noin kaksi kolmasosaa kaikesta tekoälylaskennasta vuonna 2026, kun se vuonna 2023 oli kolmannes . Päättely kattaa 80–90 % tuotantojärjestelmän elinkaarikustannuksista .

Ohjelmistoptimointi vapauttaa valtavan arvon ilman uutta laitteistoa

NVIDIA asettaa tämän strategiseksi eduksi: "NVIDIA saavutti 5-kertaisen token-kustannuksen laskun TensorRT-LLM-optimoinnilla kahden kuukauden sisällä Blackwellin julkaisusta ilman laitteistomuutosta" . Datakeskusmittakaavassa 5-kertainen token-kustannuksen lasku määrittää suoraan, ovatko agenttitekoälykuormitukset taloudellisesti kannattavia . NVIDIA:n päättelyohjelmisto laskee token-kustannusta pitkään tekoälyinfrastruktuurin käyttöönoton jälkeen .

Token-kustannus on "ainoa TCO-mittari, jolla on merkitystä"

NVIDIA väittää, että token-kustannus on ainoa mittari, joka huomioi suoraan laitteiston suorituskyvyn, ohjelmistooptimoinnin, ekosysteemituen ja tosimaailman käyttöasteen . Yhtiö julkaisee "alhaisin token-kustannus" otsikkona Blackwellin arvolupauksessa . NVIDIA B200 saavuttaa kaksi senttiä miljoonaa tokenia kohti GPT-OSS-120B-mallilla, ja arkkitehtuuri laski token-miljoonaan kustannusta 15-kertaisesti edelliseen sukupolveen verrattuna .

Yhteenveto: NVIDIA:n viesti on selvä – agenttitekoäly vaatii dramaattisesti enemmän tokeneita tehtävää kohti; ohjelmistotason päättelyoptimoinnit Blackwellilla voivat leikata nämä token-kustannukset 5-kertaisesti ilman uutta laitteistoa, mikä suoraan määrää, ovatko laajamittaiset agenttitekoälykäyttöönotot kannattavia .