FMS 2026: Kioxia, Sandisk en SK hynix zetten nieuwe stap voor AI-infrastructuur

De belangrijkste specificaties:

• Bitdichtheid: meer dan 37 Gb/mm², een stijging van ongeveer 60 procent ten opzichte van de 8e generatie .
• Opbouw: 332 actieve lagen .
• Interface: tot 4,8 Gb/s via Toggle DDR6.0 .
• Technologie: CMOS Directly Bonded to Array (CBA). Daarbij worden de CMOS-logica en de geheugenarray op afzonderlijke wafers gemaakt en daarna met hoge precisie samengevoegd. Dat moet zowel de energie-efficiëntie als de geheugendichtheid verbeteren .

QLC slaat vier bits per geheugencel op. Daardoor kan er meer data op dezelfde chip worden geplaatst dan bij TLC, dat drie bits per cel gebruikt. In juli waren al monsters beschikbaar van BiCS10 1Tb TLC-NAND, met een dichtheid van meer dan 29 Gb/mm² . De QLC-variant die op FMS werd getoond, vormt daarop een verdere stap in capaciteit per chip.

De demonstratie op de beurs betekent niet automatisch dat de QLC-technologie direct in consumenten-SSD's verschijnt. De aangekondigde toepassing ligt vooral bij grootschalige datacenteropslag en AI-infrastructuur.

HBF moet het gat tussen HBM en SSD's dichten

Sandisk en SK hynix publiceerden op hun beurt de eerste technische specificatie voor High Bandwidth Flash (HBF) via het Open Compute Project (OCP) . OCP is een industrieel samenwerkingsverband dat open hardware- en infrastructuurspecificaties ontwikkelt.

HBF is bedoeld als een extra geheugenniveau tussen High Bandwidth Memory (HBM) en traditionele SSD-opslag. HBM is zeer snel, maar relatief beperkt in capaciteit en duur. SSD's bieden veel opslagruimte, maar zijn aanzienlijk trager. HBF moet beide eigenschappen dichter bij elkaar brengen voor AI-inferentie: het uitvoeren van een getraind AI-model.

De eerste HBF-specificatie omvat onder meer:

• Capaciteit: tot 512 GB per stack, met 8-high- en 16-high-NAND-configuraties .
• Bandbreedte: tot 3,0 TB/s, waarvan 1,6 TB/s per richting. De drie prestatieniveaus lopen grofweg van 0,4 tot 3,0 TB/s .
• Aansluiting: UCIe, de Universal Chiplet Interconnect Express-standaard .
• Partners: Google, waaronder Google DeepMind, en Tenstorrent sloten zich tijdens de standaardisering aan bij het HBF-werkverband .

Sandisk stelt dat HBF bij vergelijkbare kosten 8 tot 16 keer meer capaciteit kan bieden dan HBM. In een simulatie met het Llama 3.1-model met 405 miljard parameters lag de prestatie volgens het bedrijf binnen 2,2 procent van een hypothetische HBM-configuratie met onbeperkte capaciteit . Dat zijn bedrijfsclaims en simulaties, geen resultaat van een commercieel verkrijgbaar product.

De open standaard is inmiddels gepubliceerd. De eerste geheugensamples worden eind 2026 verwacht; commerciële apparaten zouden begin 2027 kunnen volgen .

Waarom HBF relevant is voor AI-datacenters

Bij grote AI-modellen ontstaat steeds vaker een zogenoemde memory wall: de rekenchips kunnen sneller werken dan data naar en uit het beschikbare geheugen kan worden verplaatst. Vooral bij inferentie kan de hoeveelheid modeldata de beperkte HBM-capaciteit van een accelerator overstijgen.

De twee aankondigingen op FMS pakken elk een ander deel van dat probleem aan. BiCS10 QLC kan zorgen voor compactere en energiezuinigere SSD's voor datameren, modelopslag en andere capaciteitstiers. HBF is juist bedoeld om sneller geheugen dichter bij de AI-accelerator te plaatsen, zonder alle extra capaciteit met kostbaar HBM te hoeven realiseren.

Dat de specificatie via OCP wordt gepubliceerd en steun krijgt van Google en Tenstorrent, wijst op een poging om een breed toepasbaar ecosysteem te creëren in plaats van meerdere incompatibele, bedrijfseigen oplossingen . Of HBF daadwerkelijk een vaste plek in AI-servers krijgt, zal afhangen van de beschikbaarheid van hardware, softwareondersteuning en de prestaties van de eerste commerciële systemen.

De belangrijkste FMS-sessies

Naast de product- en standaardiseringsaankondigingen stonden verschillende AI-geheugensessies op het programma.

Sandisk-keynote over NAND en AI-inferentie

Op woensdag 5 augustus om 11.40 uur Pacific Time presenteerden Sandisk-topmannen Jim Elliott, Khurram Ismail en Alper Ilkbahar de keynote “NAND: The Versatile & Scalable Foundation of the AI Era” in de Mission City Ballroom van het Santa Clara Convention Center. De sessie ging over systeemoptimalisatie en de rol van NAND bij AI-inferentie op schaal .

Keynote van SK hynix over gelaagd geheugen

Op de openingsdag, 4 augustus, bespraken Executive Vice President Kim Chun-sung en Vice President Kang Uk-song de keynote “Orchestrating Efficient AI Infrastructure through Tiered Memory in the Era of Agentic AI”. Centraal stonden geheugenlagen voor efficiëntere AI-infrastructuur .

Panel: “Breaking the Memory Wall with High Bandwidth Flash”

Op 6 augustus om 9.45 uur Pacific Time namen Sandisk Vice President Rajeev Nagabhirava, SK hynix Vice President Lim Eui-cheol en Google DeepMind Senior Staff Engineer Xiaoyu Ma deel aan het panel “Breaking the Memory Wall with High Bandwidth Flash”. De discussie richtte zich op de manier waarop HBF de kloof tussen rekenkracht en geheugencapaciteit bij AI-inferentie moet verkleinen .

De paneltitel wordt door meerdere officiële bronnen genoemd. De precieze volledige omschrijving van de sessie is het best te controleren aan de hand van de definitieve FMS-agenda; de vermelding van een speciaal “Breaking the Memory Wall”-panel komt wel consistent terug in de officiële berichtgeving .