Nvidian tulokset

Nvidian uusi lippulaiva suoriutui testistä poikkeuksellisen vahvasti:

• Nvidian GB300 NVL72 (Blackwell Ultra) tarjosi parasta suorituskykyä kaikista testatuista alustoista DeepSeek V4 Pro -mallin työkuormassa. Kyseinen malli on suuri asiantuntijasekoitusmalli (MoE), joka edustaa huipputason agenttitekoälyä .
• Se saavutti jopa 20 kertaa enemmän samanaikaisia agentteja megawattia kohden verrattuna aiemman sukupolven Nvidia HGX H200 (Hopper) -järjestelmään. Tämä etu näkyi sekä 20 token/s että vaativammalla 60 token/s palvelutasolla .
• Raakaa suorituskykyä kuvaavat luvut Artificial Analysisin somejulkaisusta osoittavat, että GB300:n räkkitason hajautettu konfiguraatio pystyi käsittelemään 61 340 samanaikaista agenttia helpoimmalla palvelutasolla (20 token/s, 10 s vasteaika) . Tämä on yli 17-kertainen määrä verrattuna AMD:n parhaimmistoon (MI355X) ja lähes 24-kertainen verrattuna Nvidian omaan edellisen sukupolven H200:een.

Miten tämä sopii Nvidian laajempaan strategiaan

Nämä tulokset ovat osa Nvidian määrätietoista ja monitahoista pyrkimystä asemoida Blackwell Ultra johtavaksi alustaksi laajamittaiseen agenttitekoälyyn:

• Täyden pinon optimoinnin tarina. Nvidia selittää 20-kertaisen hyödyn syntyvän äärimmäisen pitkälle viedystä laitteiston ja ohjelmiston yhteissuunnittelusta. Tähän kuuluvat NVLink-yhteenliittäminen, joka nivoo 72 GPU:ta yhdeksi kudokseksi, CUDA-ytimet, jotka limitävät tiedonsiirtoa ja laskentaa MoE-malleille, sekä TensorRT LLM -optimoinnit (kuten WideEP/DeepEP, DeepGEMM, fused MoE), jotka ylläpitävät tehokkuutta agenttien määrän kasvaessa .
• Vertailuvaltikan laajentaminen. AgentPerf tuo agenttimaisen työkuorman ulottuvuuden Nvidian jo ennestään kattavaan menestykseen perinteisissä MLPerf-mittauksissa. Blackwell Ultra on jo aiemmin rikkonut ennätyksiä MLPerf Inference v5.1 -testissä (esimerkiksi 1,4-kertainen DeepSeek-R1-suoritusteho verrattuna edeltäjäänsä) ja vienyt voiton kaikissa seitsemässä MLPerf Training v5.1 -kategorian testissä .
• Ekosysteemin todisteet. Nvidia korostaa, että kumppanit, kuten Together AI (joka toimii Cursorin agenttipohjaisen koodauksen taustalla) ja DeepInfra (joka pyörittää Pam.ai:n tekoälytyövoimaa), ajavat jo agenttityökuormia Blackwellilla. Tämä viestii, että laitteisto on tuotantovalmis, eikä vain vertailuissa vahva .
• Tulevaisuuteen katsova suunnitelma. Blogissa vihjaillaan selvästi seuraavan sukupolven Vera Rubin -arkkitehtuurista (nyt tuotannossa) seuraavana askeleena agenttitekoälyn kapasiteetille , ja tekninen syväluotaus mainitsee ennustetut parannukset 50 PFLOPS:n NVFP4-laskentatehosta ja parannellusta LLM-työkalujen kutsujen kiihdytyksestä .

Nvidian tulokset

Nvidian uusi lippulaiva suoriutui testistä poikkeuksellisen vahvasti:

• Nvidian GB300 NVL72 (Blackwell Ultra) tarjosi parasta suorituskykyä kaikista testatuista alustoista DeepSeek V4 Pro -mallin työkuormassa. Kyseinen malli on suuri asiantuntijasekoitusmalli (MoE), joka edustaa huipputason agenttitekoälyä .
• Se saavutti jopa 20 kertaa enemmän samanaikaisia agentteja megawattia kohden verrattuna aiemman sukupolven Nvidia HGX H200 (Hopper) -järjestelmään. Tämä etu näkyi sekä 20 token/s että vaativammalla 60 token/s palvelutasolla .
• Raakaa suorituskykyä kuvaavat luvut Artificial Analysisin somejulkaisusta osoittavat, että GB300:n räkkitason hajautettu konfiguraatio pystyi käsittelemään 61 340 samanaikaista agenttia helpoimmalla palvelutasolla (20 token/s, 10 s vasteaika) . Tämä on yli 17-kertainen määrä verrattuna AMD:n parhaimmistoon (MI355X) ja lähes 24-kertainen verrattuna Nvidian omaan edellisen sukupolven H200:een.

Miten tämä sopii Nvidian laajempaan strategiaan

Nämä tulokset ovat osa Nvidian määrätietoista ja monitahoista pyrkimystä asemoida Blackwell Ultra johtavaksi alustaksi laajamittaiseen agenttitekoälyyn:

• Täyden pinon optimoinnin tarina. Nvidia selittää 20-kertaisen hyödyn syntyvän äärimmäisen pitkälle viedystä laitteiston ja ohjelmiston yhteissuunnittelusta. Tähän kuuluvat NVLink-yhteenliittäminen, joka nivoo 72 GPU:ta yhdeksi kudokseksi, CUDA-ytimet, jotka limitävät tiedonsiirtoa ja laskentaa MoE-malleille, sekä TensorRT LLM -optimoinnit (kuten WideEP/DeepEP, DeepGEMM, fused MoE), jotka ylläpitävät tehokkuutta agenttien määrän kasvaessa .
• Vertailuvaltikan laajentaminen. AgentPerf tuo agenttimaisen työkuorman ulottuvuuden Nvidian jo ennestään kattavaan menestykseen perinteisissä MLPerf-mittauksissa. Blackwell Ultra on jo aiemmin rikkonut ennätyksiä MLPerf Inference v5.1 -testissä (esimerkiksi 1,4-kertainen DeepSeek-R1-suoritusteho verrattuna edeltäjäänsä) ja vienyt voiton kaikissa seitsemässä MLPerf Training v5.1 -kategorian testissä .
• Ekosysteemin todisteet. Nvidia korostaa, että kumppanit, kuten Together AI (joka toimii Cursorin agenttipohjaisen koodauksen taustalla) ja DeepInfra (joka pyörittää Pam.ai:n tekoälytyövoimaa), ajavat jo agenttityökuormia Blackwellilla. Tämä viestii, että laitteisto on tuotantovalmis, eikä vain vertailuissa vahva .
• Tulevaisuuteen katsova suunnitelma. Blogissa vihjaillaan selvästi seuraavan sukupolven Vera Rubin -arkkitehtuurista (nyt tuotannossa) seuraavana askeleena agenttitekoälyn kapasiteetille , ja tekninen syväluotaus mainitsee ennustetut parannukset 50 PFLOPS:n NVFP4-laskentatehosta ja parannellusta LLM-työkalujen kutsujen kiihdytyksestä .