Monissa tapauksissa pullonkaula ei ole enää pelkästään grafiikkaprosessorit (GPU), vaan niiden tarvitsema muisti. Kun hyperskaalaajat rakentavat valtavia tekoälyklustereita, he ostavat miljoonia kiihdyttimiä, joista jokainen tarvitsee suuria määriä DRAM-muistia ja erikoismuistia toimiakseen tehokkaasti.
Micronin johto arvioi, että yhtiö pystyy tällä hetkellä toimittamaan vain noin 50–67 prosenttia joidenkin avainasiakkaidensa kysynnästä, mikä kertoo tarjonnan ja kysynnän välisen kuilun mittakaavasta.
Yksi suurimmista pulan aiheuttajista on HBM-muisti – edistynyt muistityyppi, joka pinotaan GPU:iden yhteyteen tekoälyn koulutusta ja päättelyä varten.
HBM-piirit ovat huomattavasti monimutkaisempia valmistaa kuin perinteinen DRAM. Ne vaativat:
Näiden vaatimusten vuoksi HBM:n tuotanto kuluttaa enemmän valmistusresursseja kuin tavalliset muistipiirit. Kun toimittajat priorisoivat näitä korkeamman arvon tekoälytuotteita, kapasiteettia jää vähemmän tavanomaiselle DRAM-muistille, jota käytetään tietokoneissa, älypuhelimissa ja muissa laitteissa.
Tuloksena on koko muistiekosysteemin kiristyminen. Joidenkin raporttien mukaan tuleva HBM-tuotanto on jo suurelta osin ennakkoon varattu suurille tekoälyasiakkaille vuosiksi eteenpäin.
Vaikka piirivalmistajat investoivat miljardeja tuotannon laajentamiseen, puolijohdetehtaiden rakennusajat ovat erittäin pitkiä.
Uuden huipputason muistitehtaan rakentaminen sisältää useita vaiheita:
Tämän prosessin vuoksi uusien tehtaiden, joiden rakentaminen aloitetaan tänään, **