Nvidia vill lösa AI-infrastrukturens flaskhals: snabbare lagring direkt till GPU:n

Tre delar av samma strategi

cuFile blir öppet

Nvidia ska öppna källkoden till cuFile-API:erna och den underliggande, vertikala programvarustacken. Tekniken gör det möjligt för GPU:er – inte bara processorer – att läsa från och skriva till lagring direkt . cuFile är en central komponent i GPUDirect Storage, Nvidia-plattformen för direkt dataöverföring mellan lagring och GPU-minne .

Koden ska ligga på GitHub inom den nya organisationen xio-sig, Accelerated IO Special Interest Group. Google, Intel, Nvidia och Meta är de första underhållarna . Tanken är att göra gränssnittet mer öppet och interoperabelt i stället för att låta det vara en Nvidia-specifik teknik .

Det finns dock en viktig brasklapp. En analys som publicerades efter beskedet konstaterade att det den 4 augusti 2026 fortfarande saknades offentligt tillgänglig kod, licens, stödd kärnversion och migreringsväg för befintliga GPUDirect Storage-installationer . För den som planerar lagringsarkitektur bör beskedet därför ses som en offentlig riktning – inte automatiskt som en färdig produkt att rulla ut.

Storage-Next samlar lagringsbranschen

Storage-Next är ett formellt samarbete med fler än 40 leverantörer av lagring och flashminne, däribland DDN, KIOXIA och Micron. Även tillverkare av styrkretsar, kylsystem och orkestreringslösningar samt standardiseringsorganisationer ingår .

Målet är att branschen ska enas om hur GPU-driven lagring ska fungera och omvandla utvecklingen till öppna, kompatibla standarder . Det är viktigt eftersom snabbare GPU:er inte löser problemet om SSD:er, lagringskontrollers och nätverk fortfarande kommunicerar på olika sätt.

SCADA flyttar mer av kontrollen till GPU:n

SCADA är den kommersialiserade versionen av Nvidias tidigare BaM-forskning (Big Accelerator Memory), som presenterades vid ASPLOS 2023 . Ramverket låter massivt parallella GPU:er själva starta och hantera I/O-operationer mot lagring.

I stället för att varje förfrågan måste gå via processorn kan hundratusentals GPU-trådar självständigt begära data. SCADA kan dessutom samla små, utspridda läsningar, använda en cache på GPU:n och hämta data direkt från lokala NVMe-enheter eller fjärrlagring .

Så ska flaskhalsarna minska

1. Mindre GPU-svält

I traditionella system måste processorn förbereda varje lagringsöverföring. GPU:n får då vänta medan CPU:n hanterar anrop, kärnstart och synkronisering mellan CPU och GPU – overhead som kan uppgå till mikrosekunder per operation .

cuFile tar bort processorn från själva datavägen genom att överföra data direkt till GPU-minnet med DMA . SCADA går ett steg längre och tar även bort processorn från kontrollvägen: GPU-trådarna initierar sina egna läsningar, slår ihop små förfrågningar och kan använda en GPU-baserad cache .

I den bakomliggande BaM-forskningen kördes dataanalysarbetslaster 5,3 gånger snabbare än med CPU-initierad åtkomst på samma hårdvara. För grafarbetslaster visade forskningen dessutom upp till 21,7 gånger lägre hårdvarukostnad jämfört med att lagra data i värdminnet . Resultaten gäller forskningen bakom SCADA och ska inte förväxlas med ett löfte om samma utfall i alla produktionsmiljöer.

2. Snabbare AI-lagring

Dagens GPU:er kan bearbeta data snabbare än många lagringssystem hinner leverera den. Den skillnaden har blivit en central flaskhals för både träning och inferens .

Enligt Nvidia ska cuFile ge säker åtkomst till data på mikrosekundsnivå genom att utnyttja hundratusentals GPU-trådar och minne med hög bandbredd . Det kan vara särskilt relevant för arbetslaster som kräver många samtidiga datahämtningar, till exempel RAG (retrieval-augmented generation), mixture-of-experts-modeller och agentbaserad AI .

Storage-Next ska samtidigt minska risken för att utvecklingen blir en lösning som bara fungerar med en enda leverantör. Genom gemensamma standarder ska lagringsekosystemet kunna hålla jämna steg med GPU:ernas I/O-mönster och hastighet .

3. Säker åtkomst i stället för fri åtkomst

Direkt kommunikation mellan GPU och lagring skapar också en säkerhetsutmaning. Utan rätt skydd skulle en applikation i värsta fall kunna läsa eller skriva över en annan applikations data .

SCADA delar därför upp behörigheterna. Den prestandakritiska programkoden körs utan privilegier utanför den betrodda beräkningsbasen. En privilegierad komponent konfigurerar i stället, vid uppstart, skyddad åtkomst mellan varje applikation och just den lagring som applikationen har tillåtelse att använda. Konstruktionen bygger på etablerade säkerhetsmekanismer i Linux .

Nvidia beskriver också öppnandet av cuFile som en grund för AI-baserad cybersäkerhet. Företagets argument är att säkerhetskontext, data och lagring måste kunna nås i samma höga tempo som AI-drivna försvarssystem arbetar . Satsningen kopplas även till Open Secure AI Alliance . Den kompletta hårdvarustacken med Nvidia Vera- och BlueField-4 STX-processorer använder dessutom den samlade säkerhetsplattformen NVIDIA DOCA för löpande policykontroll i AI-datavägen .

Vad beskedet betyder

Nvidias tre initiativ angriper samma arkitektoniska missförhållande: GPU-kapaciteten har ökat snabbare än förmågan att mata den med data.

cuFile ska öppna programvarulagret och göra det lättare för fler aktörer att bygga kompatibla lösningar. Storage-Next ska samordna leverantörer av flashminne, lagring, kontrollers, nätverk och kylning. SCADA ska i sin tur göra GPU:n mer självständig – både när det gäller att hämta data och att bestämma när hämtningen ska ske.

Om planerna omsätts i tillgänglig kod, fungerande standarder och bred hårdvarusupport kan resultatet bli AI-system där mindre tid går åt till väntan och mer till beräkning. Men för infrastrukturteam återstår den praktiska frågan: när blir den utlovade öppna cuFile-stacken faktiskt tillgänglig, licensierad och möjlig att införa i befintliga miljöer?