Ongelma on, ettei korkean kaistanleveyden muistin (HBM) ja DRAM-muistin kehitys ole pysynyt suurten kielimallien ja vaativan laskennan räjähdysmäisen kasvun perässä. AMD itse on kuvaillut DRAM-muistia "laskennan niukimmaksi ja kalleimmaksi resurssiksi" . MEXT:in idea on, ettet tarvitse lisää DRAM-muistia – tarvitset vain fiksumman tavan hyödyntää sitä edullista flash-tallennustilaa, jota jokaisessa palvelimessa jo on.

Miten MEXT:in Predictive Memory™ oikeasti toimii?

MEXT:in ydintuote, Predictive Memory™, on tekoälypohjainen muistin porrastusjärjestelmä (memory tiering), joka toimii sovelluskerroksen alapuolella. Se käytännössä huijaa käyttöjärjestelmää näkemään paljon enemmän DRAM-muistia kuin sitä fyysisesti on olemassa . Ratkaisu ei vaadi uutta rautaa, grafiikkasuoritinta (GPU) tai muutoksia olemassa oleviin sovelluksiin. Yritys väittää asennuksen vievän alle viisi minuuttia – eräs demonstraatio näytti, kuinka yhdellä komennolla näkyvä muistimäärä kaksinkertaistui .

Järjestelmä toimii jatkuvana, kolmivaiheisena silmukkana:

• Kylmän datan siirto: Ohjelmisto tunnistaa jatkuvasti ne muistisivut, jotka eivät ole aktiivisessa käytössä, ja siirtää ne kalliista DRAM:ista edulliseen NAND-flashiin. Tämä vapauttaa arvokasta DRAM-muistia kuumille, aktiivisille työkuormille. Flash on gigatavua kohden noin 50 kertaa halvempaa kuin DRAM, joten taloudellinen hyöty on välitön .
• Tekoälyohjattu ennustaminen: Kevyt ennustemoottori toimii yhdellä suoritinytimellä ja analysoi muistin käyttökaavoja mikrosekunneissa. Se käyttää näitä malleja ennakoidakseen, mitä siirrettyjä sivuja sovellus tarvitsee seuraavaksi .
• Ennakoiva esihaku: Ennen kuin sovellus edes pyytää tietoja, MEXT siirtää ennakoidut sivut takaisin flashista DRAM:iin. Lopputuloksena on, että sovellukset kokevat DRAM-tason suorituskykyä, kun datakeskuksen operaattori maksaa flash-tason hinnan .

MEXT väittää näiden tekniikoiden voivan leikata kokonaisinfrastruktuurikustannuksia 50 prosenttia ja laajentaa palvelimen tehollista muistikapasiteettia 2–4-kertaisesti . Tekoälyteollisuudelle, jossa muistin hinta nakertaa mallien koulutuksen ja päättelyn kannattavuutta, tämä ei ole pelkkä optimointi – se on mahdollinen paradigman muutos.

Miksi AMD osti muisti-startupin, sen sijaan että olisi vain ostanut lisää muistia?

Tämä yritysosto ei ole pelkkä ohjelmistoratkaisun hankinta. Se viestii tietoisesta muutoksesta siinä, miten AMD aikoo kilpailla tekoälydatakeskusten markkinoilla.

Vuosia AMD on asemoitunut sisukkaaksi vaihtoehdoksi Nvidialle tarjoten kilpailukykyisiä GPU:ita ja CPU:ita sillä aikaa, kun Nvidia on rakentanut linnoitusta omista yhteyksistään, verkkoratkaisuistaan ja CUDA-ohjelmistoekosysteemistään. MEXT-kauppa antaa ymmärtää AMD:n olevan nyt rakentamassa omaa ohjelmistovallihautaansa – tässä tapauksessa muistikerroksessa, jota jokainen tekoälytyökuorma koskettaa.

AMD kertoi integroivansa MEXT:in teknologian koko datakeskusportfolioonsa: suorittimiin (CPU), grafiikkasuorittimiin (GPU), verkkolaitteisiin ja räkkitason järjestelmiin . Tämä on ratkaiseva yksityiskohta. Sen sijaan, että kyseessä olisi pelkkä GPU-ratkaisu, Predictive Memory™ muuttuu alustason ominaisuudeksi, joka voi madaltaa omistamisen kokonaiskustannuksia (TCO) missä tahansa suuren mittakaavan AMD-ympäristössä riippumatta siitä, mitä piisirua asiakas ostaa .

Tämä antaa AMD:lle mahdollisuuden tarjota ainutlaatuisen kustannustehokasta "täyden pinon" tekoälyratkaisua. Nvidian strategia nojaa tiiviisti integroituun laitteistoon ja ohjelmistoon, erityisesti NVLinkin ja oman verkkoratkaisunsa ympärillä. Intel on keskittynyt Compute Express Link (CXL) -standardiin ja muihin muistin laajennusratkaisuihin. MEXT on sen sijaan ohjelmistokerros, joka toimii tavallisilla palvelimilla ilman laitteistomuutoksia . Ketteryysetu on huomattava: AMD:n asiakkaat voivat ottaa sen käyttöön välittömästi olemassa olevaan infrastruktuuriin, kun rautakeskeiset lähestymistavat vaativat uutta piitä ja pidempiä validointijaksoja.

MEXT-kauppa ei tapahtunut tyhjiössä. Se osui yksiin AMD:n Ryzen AI Halo -kehitysalustan julkistuksen kanssa, järjestelmän, joka on suunniteltu ajamaan suuria tekoälymalleja tehokkaalla paikallisella raudalla . Yhdessä nämä liikkeet piirtävät kuvan yhtiöstä, joka yrittää rakentaa yhtenäistä tekoälyekosysteemiä, joka ulottuu asiakaslaitteista hyperskaalaluokan datakeskuksiin – ja nyt sen läpi on ommeltu muistia optimoiva kerros.

Kilpailutilanne: AMD vs. Nvidia vs. Intel

Tekoälyinfrastruktuurin markkinoita määrittää tällä hetkellä "muistiseinä" (memory wall). Suuremmat mallit tarvitsevat enemmän muistin kaistanleveyttä ja kapasiteettia kuin useimmat järjestelmät pystyvät tarjoamaan ilman tähtitieteellisiä kustannuksia. Jokainen siruvalmistaja etsii kuumeisesti vastauksia.

Nvidian vastaus on ollut vertikaalinen integraatio – sen Grace Hopper -superpiirit parittavat CPU:t ja GPU:t massiivisilla muistialtailla, sen verkkoteknologia sitoo kaiken yhteen, ja CUDA tekee kaikesta ohjelmoitavaa. Intel on ajanut CXL:ää laitteistostandardiksi, jolla järjestelmät voivat poolata ja jakaa muistia eri laitteiden kesken.

AMD, MEXT:in kanssa, lyö vetoa, että ohjelmistopohjainen muistiporras voi ratkaista ongelman lukitsematta asiakkaita patentoituun laitteistoon. Teoriassa datakeskusoperaattori voisi käyttää AMD:n MI400 GPU -palvelinta, jossa MEXT:in ennustekerros laajentaa sen tehokkaan muistin nelinkertaiseksi, leikaten suuren mallin koulutuksen kustannukset murto-osaan verrattuna Nvidian järjestelmään, joka tarvitsee enemmän fyysistä HBM-muistia saman kapasiteetin saavuttamiseksi. Se, kestääkö suorituskyky tosimaailman, latenssiherkissä tekoälytyökuormissa, on vielä todistamatta, mutta taloudellinen tarjous on houkutteleva.

Kauppa aiheutti välittömiä markkinareaktioita. AMD:n osakekurssi nousi ilmoituksen myötä, nostaen yhtiön arvostuksen lähelle 900 miljardin dollarin rajaa . Sijoittajat näyttävät lyövän vetoa, että MEXT-osto paikkaa kriittisen aukon AMD:n tekoälyalustassa, antaen yhtiölle konkreettisen, käyttöönotettavan edun kilpajuoksussa tekoälyinfrastruktuurin edullisemmaksi tekemiseksi.

Ongelma on, ettei korkean kaistanleveyden muistin (HBM) ja DRAM-muistin kehitys ole pysynyt suurten kielimallien ja vaativan laskennan räjähdysmäisen kasvun perässä. AMD itse on kuvaillut DRAM-muistia "laskennan niukimmaksi ja kalleimmaksi resurssiksi" . MEXT:in idea on, ettet tarvitse lisää DRAM-muistia – tarvitset vain fiksumman tavan hyödyntää sitä edullista flash-tallennustilaa, jota jokaisessa palvelimessa jo on.

Miten MEXT:in Predictive Memory™ oikeasti toimii?

MEXT:in ydintuote, Predictive Memory™, on tekoälypohjainen muistin porrastusjärjestelmä (memory tiering), joka toimii sovelluskerroksen alapuolella. Se käytännössä huijaa käyttöjärjestelmää näkemään paljon enemmän DRAM-muistia kuin sitä fyysisesti on olemassa . Ratkaisu ei vaadi uutta rautaa, grafiikkasuoritinta (GPU) tai muutoksia olemassa oleviin sovelluksiin. Yritys väittää asennuksen vievän alle viisi minuuttia – eräs demonstraatio näytti, kuinka yhdellä komennolla näkyvä muistimäärä kaksinkertaistui .

Järjestelmä toimii jatkuvana, kolmivaiheisena silmukkana:

• Kylmän datan siirto: Ohjelmisto tunnistaa jatkuvasti ne muistisivut, jotka eivät ole aktiivisessa käytössä, ja siirtää ne kalliista DRAM:ista edulliseen NAND-flashiin. Tämä vapauttaa arvokasta DRAM-muistia kuumille, aktiivisille työkuormille. Flash on gigatavua kohden noin 50 kertaa halvempaa kuin DRAM, joten taloudellinen hyöty on välitön .
• Tekoälyohjattu ennustaminen: Kevyt ennustemoottori toimii yhdellä suoritinytimellä ja analysoi muistin käyttökaavoja mikrosekunneissa. Se käyttää näitä malleja ennakoidakseen, mitä siirrettyjä sivuja sovellus tarvitsee seuraavaksi .
• Ennakoiva esihaku: Ennen kuin sovellus edes pyytää tietoja, MEXT siirtää ennakoidut sivut takaisin flashista DRAM:iin. Lopputuloksena on, että sovellukset kokevat DRAM-tason suorituskykyä, kun datakeskuksen operaattori maksaa flash-tason hinnan .

MEXT väittää näiden tekniikoiden voivan leikata kokonaisinfrastruktuurikustannuksia 50 prosenttia ja laajentaa palvelimen tehollista muistikapasiteettia 2–4-kertaisesti . Tekoälyteollisuudelle, jossa muistin hinta nakertaa mallien koulutuksen ja päättelyn kannattavuutta, tämä ei ole pelkkä optimointi – se on mahdollinen paradigman muutos.

Miksi AMD osti muisti-startupin, sen sijaan että olisi vain ostanut lisää muistia?

Tämä yritysosto ei ole pelkkä ohjelmistoratkaisun hankinta. Se viestii tietoisesta muutoksesta siinä, miten AMD aikoo kilpailla tekoälydatakeskusten markkinoilla.

Vuosia AMD on asemoitunut sisukkaaksi vaihtoehdoksi Nvidialle tarjoten kilpailukykyisiä GPU:ita ja CPU:ita sillä aikaa, kun Nvidia on rakentanut linnoitusta omista yhteyksistään, verkkoratkaisuistaan ja CUDA-ohjelmistoekosysteemistään. MEXT-kauppa antaa ymmärtää AMD:n olevan nyt rakentamassa omaa ohjelmistovallihautaansa – tässä tapauksessa muistikerroksessa, jota jokainen tekoälytyökuorma koskettaa.

AMD kertoi integroivansa MEXT:in teknologian koko datakeskusportfolioonsa: suorittimiin (CPU), grafiikkasuorittimiin (GPU), verkkolaitteisiin ja räkkitason järjestelmiin . Tämä on ratkaiseva yksityiskohta. Sen sijaan, että kyseessä olisi pelkkä GPU-ratkaisu, Predictive Memory™ muuttuu alustason ominaisuudeksi, joka voi madaltaa omistamisen kokonaiskustannuksia (TCO) missä tahansa suuren mittakaavan AMD-ympäristössä riippumatta siitä, mitä piisirua asiakas ostaa .

Tämä antaa AMD:lle mahdollisuuden tarjota ainutlaatuisen kustannustehokasta "täyden pinon" tekoälyratkaisua. Nvidian strategia nojaa tiiviisti integroituun laitteistoon ja ohjelmistoon, erityisesti NVLinkin ja oman verkkoratkaisunsa ympärillä. Intel on keskittynyt Compute Express Link (CXL) -standardiin ja muihin muistin laajennusratkaisuihin. MEXT on sen sijaan ohjelmistokerros, joka toimii tavallisilla palvelimilla ilman laitteistomuutoksia . Ketteryysetu on huomattava: AMD:n asiakkaat voivat ottaa sen käyttöön välittömästi olemassa olevaan infrastruktuuriin, kun rautakeskeiset lähestymistavat vaativat uutta piitä ja pidempiä validointijaksoja.

MEXT-kauppa ei tapahtunut tyhjiössä. Se osui yksiin AMD:n Ryzen AI Halo -kehitysalustan julkistuksen kanssa, järjestelmän, joka on suunniteltu ajamaan suuria tekoälymalleja tehokkaalla paikallisella raudalla . Yhdessä nämä liikkeet piirtävät kuvan yhtiöstä, joka yrittää rakentaa yhtenäistä tekoälyekosysteemiä, joka ulottuu asiakaslaitteista hyperskaalaluokan datakeskuksiin – ja nyt sen läpi on ommeltu muistia optimoiva kerros.

Kilpailutilanne: AMD vs. Nvidia vs. Intel

Tekoälyinfrastruktuurin markkinoita määrittää tällä hetkellä "muistiseinä" (memory wall). Suuremmat mallit tarvitsevat enemmän muistin kaistanleveyttä ja kapasiteettia kuin useimmat järjestelmät pystyvät tarjoamaan ilman tähtitieteellisiä kustannuksia. Jokainen siruvalmistaja etsii kuumeisesti vastauksia.

Nvidian vastaus on ollut vertikaalinen integraatio – sen Grace Hopper -superpiirit parittavat CPU:t ja GPU:t massiivisilla muistialtailla, sen verkkoteknologia sitoo kaiken yhteen, ja CUDA tekee kaikesta ohjelmoitavaa. Intel on ajanut CXL:ää laitteistostandardiksi, jolla järjestelmät voivat poolata ja jakaa muistia eri laitteiden kesken.

AMD, MEXT:in kanssa, lyö vetoa, että ohjelmistopohjainen muistiporras voi ratkaista ongelman lukitsematta asiakkaita patentoituun laitteistoon. Teoriassa datakeskusoperaattori voisi käyttää AMD:n MI400 GPU -palvelinta, jossa MEXT:in ennustekerros laajentaa sen tehokkaan muistin nelinkertaiseksi, leikaten suuren mallin koulutuksen kustannukset murto-osaan verrattuna Nvidian järjestelmään, joka tarvitsee enemmän fyysistä HBM-muistia saman kapasiteetin saavuttamiseksi. Se, kestääkö suorituskyky tosimaailman, latenssiherkissä tekoälytyökuormissa, on vielä todistamatta, mutta taloudellinen tarjous on houkutteleva.

Kauppa aiheutti välittömiä markkinareaktioita. AMD:n osakekurssi nousi ilmoituksen myötä, nostaen yhtiön arvostuksen lähelle 900 miljardin dollarin rajaa . Sijoittajat näyttävät lyövän vetoa, että MEXT-osto paikkaa kriittisen aukon AMD:n tekoälyalustassa, antaen yhtiölle konkreettisen, käyttöönotettavan edun kilpajuoksussa tekoälyinfrastruktuurin edullisemmaksi tekemiseksi.