Huawei saavutti puolestaan merkittävän virstanpylvään. Ascend 950DT yhdessä CANN-ohjelmistokehyksen kanssa tarjosi mallille täyden tuen heti julkaisupäivänä. Kyse oli ensimmäisestä kerrasta, kun muu kuin CUDA-alusta ylsi vastaavaan Day 0 -valmiuteen tämän kokoluokan huippumallissa .

Ascend 950PR:llä tehdyissä riippumattomissa testeissä FP4-laskenta oli 2,87 kertaa nopeampaa kuin Nvidian H20:llä, ja Mixture-of-Experts-mallin päättely oli vahvistusajossa parhaimmillaan 1,96 kertaa nopeampaa . Huawein absoluuttista suorituskykyä rajoittavat silti valmistuskapasiteettiin liittyvät tekijät, joten se jää Nvidian parhaiden ratkaisujen taakse.

AMD:n lähtö oli paljon vaikeampi. MI355X pystyi julkaisupäivänä ajamaan vain FP8-versiota, sillä mallin natiivinen FP4+FP8-tarkistuspiste ei ollut käyttökelpoinen. 8K/1K-työkuormassa suorituskyky jäi 20,4 tokeniin sekunnissa GPU:ta kohden ja 2,4 tokeniin sekunnissa käyttäjää kohden . ROCm-ohjelmistopino ei ollut vielä optimoitu tämän kokoluokan MoE-mallille.

AMD:n 110,5-kertainen nousu syntyi ohjelmistosta

Seuraavat 26 päivää muodostivat yhden viime aikojen dramaattisimmista ohjelmistovetoisista suorituskykykorjauksista AI-infrastruktuurissa.

AMD:n SGLang-tiimi, teknisenä vetäjänään HaiShaw, yhdisti 26 päivän aikana 31 suorituskykyyn keskittynyttä pull requestia amd/deepseek_v4-sivukehityshaaraan . Korjaukset kohdistuivat ROCm-pinon useisiin osiin, joita ei ollut käytännössä testattu tämän mittakaavan MoE-mallilla.

20. toukokuuta eli päivänä 26 MI355X saavutti 8K/1K-työkuormassa 2 256 tokenia sekunnissa GPU:ta kohden ja 9,4 tokenia sekunnissa käyttäjää kohden. GPU-kohtainen läpäisykyky kasvoi näin 110,5-kertaiseksi, samalla kun vuorovaikutteisuus parani 3,85-kertaiseksi .

Tulos on poikkeuksellinen siksi, että molemmat mittarit paranivat samaan aikaan: käyttäjä sai vastauksen nopeammin, ja sama laitteisto pystyi käsittelemään suuremman kokonaismäärän pyyntöjä.

Kun laitteita verrataan InferenceX:n vastaavilla vuorovaikutteisuustasoilla, päivitetty MI355X yltää noin 1 411 tokeniin sekunnissa GPU:ta kohden. Se sijoittuu tällöin samaan kilpailuluokkaan Nvidian B200:n kanssa matalan vuorovaikutteisuuden asetuksilla .

Nvidian GB300 NVL72 on silti eri tasolla: parhaissa olosuhteissa se saavuttaa jopa 11 474 tokenia sekunnissa GPU:ta kohden. AMD:n merkittävin saavutus onkin ennen kaikkea se, että MI355X muuttui toimimattomasta julkaisusta käyttökelpoiseksi päättelyratkaisuksi .

Vertailu 43 päivän seurannan perusteella

Kustannus miljoonaa tokenia kohden kertoo taloudesta ehkä suorituskykylukuja selvemmin. Matalalla vuorovaikutteisuudella GB300 NVL72 tuottaa tokenit hinnalla 0,064 dollaria miljoonaa tokenia kohden, mikä on noin 4,5 kertaa edullisempi kuin MI355X:n 0,291 dollarin taso .

Kun vuorovaikutteisuus kasvaa – eli samanaikaisten käyttäjien määrä pienenee ja yksittäisen käyttäjän nopeus korostuu – MI355X muuttuu kilpailukykyisemmäksi B200:ta vastaan. Molemmat liikkuvat noin 1,22–1,45 dollarissa miljoonaa tokenia kohden 23–24 samanaikaisen käyttäjän kuormalla .

Mallin arkkitehtuuri teki miljoonan tokenin kontekstista mahdollisen

GPU-vertailujen luvut ovat näyttäviä, mutta niiden taloudellinen merkitys jäisi vähäiseksi ilman DeepSeek V4:n arkkitehtuurimuutosta.

Perinteinen Transformer-huomiointi kasvaa kontekstin pituuden mukana erittäin nopeasti. Miljoonan tokenin kohdalla laskenta- ja muistivaatimukset tekevät mallin palvelemisesta käytännössä liian kallista. DeepSeek V4 korvaa tavanomaisen huomioinnin kahden toisiaan täydentävän menetelmän yhdistelmällä.

Compressed Sparse Attention eli CSA toimii yksityiskohtaisemmalla tasolla. Se yhdistää noin neljä tokenia yhdeksi opituksi avain-arvo- eli KV-merkinnäksi datasta riippuvien painojen avulla. Tämän jälkeen malli valitsee vain olennaisimmat pakatut merkinnät. Valintaa ohjaa Lightning Indexer -komponentti . Samalla liukuva huomiointi säilyttää paikallisen tarkkuuden .

Heavily Compressed Attention eli HCA tekee paljon rajumman tiivistyksen. Se voi pakata jopa 128 tokenia yhdeksi KV-merkinnäksi ja käyttää tiivistetyn virran päällä tiheää huomiointia . Menetelmä ei tavoittele yhtä tarkkaa yksittäisten kohtien hakua, vaan tarjoaa koko kontekstista kevyen yleiskuvan. HCA:ta käytetään varhaisissa kerroksissa, kun taas viimeinen kerros säilyttää täyden huomioinnin tarkkuuden varmistamiseksi .

DeepSeek V3.2:een verrattuna erot miljoonan tokenin kontekstissa ovat huomattavat:

• Tokenikohtainen päättelylaskenta: 27 prosenttia V3.2:n tasosta eli 73 prosentin vähennys
• KV-välimuistin muistinkulutus: noin 10 prosenttia V3.2:n tasosta eli noin 90 prosentin vähennys
• GQA-bfloat16-perustasoon verrattuna: noin 2 prosenttia välimuistin koosta

Pienemmän V4 Flash -mallin kohdalla luvut ovat vielä matalampia: laskentaa tarvitaan 10 prosenttia ja KV-välimuistia 7 prosenttia vertailutasosta .

Ilman CSA:n ja HCA:n kaltaisia menetelmiä 1,6 biljoonan parametrin V4 Pro miljoonan tokenin kontekstilla olisi lähinnä tutkimusprojekti – kiinnostava, mutta kaupallisesti vaikeasti palveltava. Niiden ansiosta siitä voi tulla tuote.

Mitä tulokset kertovat AI-markkinasta?

43 päivän seuranta piirtää kolme rinnakkaista kuvaa.

Ensinnäkin Nvidian ohjelmistoetu on edelleen rakenteellisesti valtava. CUDA toimii heti, laajasti ja ennakoitavasti, ja Blackwell-laitteisto on myös raakasuorituskyvyssä selvästi edellä.

Toiseksi Huawei on kuro umpeen Day 0 -ohjelmistovalmiuden kuilun. Ascend 950DT:n ja CANN:n täysi tuki julkaisupäivänä on historiallinen muutos, vaikka laitteiston huippusuorituskyky on yhä valmistusrajoitteiden alainen.

Kolmanneksi AMD:n laitteisto osoittautui paljon lähtötilannetta kyvykkäämmäksi. ROCm-ekosysteemi vaati kuitenkin uuden huippumallin kohdalla poikkeuksellisen määrän käsityötä. 110,5-kertainen parannus 26 päivässä on vaikuttava, mutta samalla se kertoo, ettei tällaisen optimointiponnistuksen pitäisi olla jokaisen uuden mallin edellytys.

Lopulta suurin muutos tapahtui mallin arkkitehtuurissa. DeepSeekin CSA- ja HCA-yhdistelmä ei vain tehosta päättelyä, vaan muuttaa sitä, mitä voidaan ylipäätään palvella taloudellisesti. Kun 1,6 biljoonan parametrin malli miljoonan tokenin kontekstilla voi oikealla laitteistolla lähestyä senttien kustannustasoa miljoonaa tokenia kohden, kysymys ei enää ole vain siitä, pystyykö teknologia tähän. Seuraava kysymys on, mitä sillä rakennetaan.

Huawei saavutti puolestaan merkittävän virstanpylvään. Ascend 950DT yhdessä CANN-ohjelmistokehyksen kanssa tarjosi mallille täyden tuen heti julkaisupäivänä. Kyse oli ensimmäisestä kerrasta, kun muu kuin CUDA-alusta ylsi vastaavaan Day 0 -valmiuteen tämän kokoluokan huippumallissa .

Ascend 950PR:llä tehdyissä riippumattomissa testeissä FP4-laskenta oli 2,87 kertaa nopeampaa kuin Nvidian H20:llä, ja Mixture-of-Experts-mallin päättely oli vahvistusajossa parhaimmillaan 1,96 kertaa nopeampaa . Huawein absoluuttista suorituskykyä rajoittavat silti valmistuskapasiteettiin liittyvät tekijät, joten se jää Nvidian parhaiden ratkaisujen taakse.

AMD:n lähtö oli paljon vaikeampi. MI355X pystyi julkaisupäivänä ajamaan vain FP8-versiota, sillä mallin natiivinen FP4+FP8-tarkistuspiste ei ollut käyttökelpoinen. 8K/1K-työkuormassa suorituskyky jäi 20,4 tokeniin sekunnissa GPU:ta kohden ja 2,4 tokeniin sekunnissa käyttäjää kohden . ROCm-ohjelmistopino ei ollut vielä optimoitu tämän kokoluokan MoE-mallille.

AMD:n 110,5-kertainen nousu syntyi ohjelmistosta

Seuraavat 26 päivää muodostivat yhden viime aikojen dramaattisimmista ohjelmistovetoisista suorituskykykorjauksista AI-infrastruktuurissa.

AMD:n SGLang-tiimi, teknisenä vetäjänään HaiShaw, yhdisti 26 päivän aikana 31 suorituskykyyn keskittynyttä pull requestia amd/deepseek_v4-sivukehityshaaraan . Korjaukset kohdistuivat ROCm-pinon useisiin osiin, joita ei ollut käytännössä testattu tämän mittakaavan MoE-mallilla.

20. toukokuuta eli päivänä 26 MI355X saavutti 8K/1K-työkuormassa 2 256 tokenia sekunnissa GPU:ta kohden ja 9,4 tokenia sekunnissa käyttäjää kohden. GPU-kohtainen läpäisykyky kasvoi näin 110,5-kertaiseksi, samalla kun vuorovaikutteisuus parani 3,85-kertaiseksi .

Tulos on poikkeuksellinen siksi, että molemmat mittarit paranivat samaan aikaan: käyttäjä sai vastauksen nopeammin, ja sama laitteisto pystyi käsittelemään suuremman kokonaismäärän pyyntöjä.

Kun laitteita verrataan InferenceX:n vastaavilla vuorovaikutteisuustasoilla, päivitetty MI355X yltää noin 1 411 tokeniin sekunnissa GPU:ta kohden. Se sijoittuu tällöin samaan kilpailuluokkaan Nvidian B200:n kanssa matalan vuorovaikutteisuuden asetuksilla .

Nvidian GB300 NVL72 on silti eri tasolla: parhaissa olosuhteissa se saavuttaa jopa 11 474 tokenia sekunnissa GPU:ta kohden. AMD:n merkittävin saavutus onkin ennen kaikkea se, että MI355X muuttui toimimattomasta julkaisusta käyttökelpoiseksi päättelyratkaisuksi .

Vertailu 43 päivän seurannan perusteella

Kustannus miljoonaa tokenia kohden kertoo taloudesta ehkä suorituskykylukuja selvemmin. Matalalla vuorovaikutteisuudella GB300 NVL72 tuottaa tokenit hinnalla 0,064 dollaria miljoonaa tokenia kohden, mikä on noin 4,5 kertaa edullisempi kuin MI355X:n 0,291 dollarin taso .

Kun vuorovaikutteisuus kasvaa – eli samanaikaisten käyttäjien määrä pienenee ja yksittäisen käyttäjän nopeus korostuu – MI355X muuttuu kilpailukykyisemmäksi B200:ta vastaan. Molemmat liikkuvat noin 1,22–1,45 dollarissa miljoonaa tokenia kohden 23–24 samanaikaisen käyttäjän kuormalla .

Mallin arkkitehtuuri teki miljoonan tokenin kontekstista mahdollisen

GPU-vertailujen luvut ovat näyttäviä, mutta niiden taloudellinen merkitys jäisi vähäiseksi ilman DeepSeek V4:n arkkitehtuurimuutosta.

Perinteinen Transformer-huomiointi kasvaa kontekstin pituuden mukana erittäin nopeasti. Miljoonan tokenin kohdalla laskenta- ja muistivaatimukset tekevät mallin palvelemisesta käytännössä liian kallista. DeepSeek V4 korvaa tavanomaisen huomioinnin kahden toisiaan täydentävän menetelmän yhdistelmällä.

Compressed Sparse Attention eli CSA toimii yksityiskohtaisemmalla tasolla. Se yhdistää noin neljä tokenia yhdeksi opituksi avain-arvo- eli KV-merkinnäksi datasta riippuvien painojen avulla. Tämän jälkeen malli valitsee vain olennaisimmat pakatut merkinnät. Valintaa ohjaa Lightning Indexer -komponentti . Samalla liukuva huomiointi säilyttää paikallisen tarkkuuden .

Heavily Compressed Attention eli HCA tekee paljon rajumman tiivistyksen. Se voi pakata jopa 128 tokenia yhdeksi KV-merkinnäksi ja käyttää tiivistetyn virran päällä tiheää huomiointia . Menetelmä ei tavoittele yhtä tarkkaa yksittäisten kohtien hakua, vaan tarjoaa koko kontekstista kevyen yleiskuvan. HCA:ta käytetään varhaisissa kerroksissa, kun taas viimeinen kerros säilyttää täyden huomioinnin tarkkuuden varmistamiseksi .

DeepSeek V3.2:een verrattuna erot miljoonan tokenin kontekstissa ovat huomattavat:

• Tokenikohtainen päättelylaskenta: 27 prosenttia V3.2:n tasosta eli 73 prosentin vähennys
• KV-välimuistin muistinkulutus: noin 10 prosenttia V3.2:n tasosta eli noin 90 prosentin vähennys
• GQA-bfloat16-perustasoon verrattuna: noin 2 prosenttia välimuistin koosta

Pienemmän V4 Flash -mallin kohdalla luvut ovat vielä matalampia: laskentaa tarvitaan 10 prosenttia ja KV-välimuistia 7 prosenttia vertailutasosta .

Ilman CSA:n ja HCA:n kaltaisia menetelmiä 1,6 biljoonan parametrin V4 Pro miljoonan tokenin kontekstilla olisi lähinnä tutkimusprojekti – kiinnostava, mutta kaupallisesti vaikeasti palveltava. Niiden ansiosta siitä voi tulla tuote.

Mitä tulokset kertovat AI-markkinasta?

43 päivän seuranta piirtää kolme rinnakkaista kuvaa.

Ensinnäkin Nvidian ohjelmistoetu on edelleen rakenteellisesti valtava. CUDA toimii heti, laajasti ja ennakoitavasti, ja Blackwell-laitteisto on myös raakasuorituskyvyssä selvästi edellä.

Toiseksi Huawei on kuro umpeen Day 0 -ohjelmistovalmiuden kuilun. Ascend 950DT:n ja CANN:n täysi tuki julkaisupäivänä on historiallinen muutos, vaikka laitteiston huippusuorituskyky on yhä valmistusrajoitteiden alainen.

Kolmanneksi AMD:n laitteisto osoittautui paljon lähtötilannetta kyvykkäämmäksi. ROCm-ekosysteemi vaati kuitenkin uuden huippumallin kohdalla poikkeuksellisen määrän käsityötä. 110,5-kertainen parannus 26 päivässä on vaikuttava, mutta samalla se kertoo, ettei tällaisen optimointiponnistuksen pitäisi olla jokaisen uuden mallin edellytys.

Lopulta suurin muutos tapahtui mallin arkkitehtuurissa. DeepSeekin CSA- ja HCA-yhdistelmä ei vain tehosta päättelyä, vaan muuttaa sitä, mitä voidaan ylipäätään palvella taloudellisesti. Kun 1,6 biljoonan parametrin malli miljoonan tokenin kontekstilla voi oikealla laitteistolla lähestyä senttien kustannustasoa miljoonaa tokenia kohden, kysymys ei enää ole vain siitä, pystyykö teknologia tähän. Seuraava kysymys on, mitä sillä rakennetaan.