Nvidia vil løse AI’s GPU-flaskehals med åben cuFile-kode, Storage-Next og SCADA

Målet er at tackle tre af AI-infrastrukturens voksende problemer: GPU’er, der må vente på data, lagringssystemer, der ikke kan følge med, og sikkerhedsrisici ved at lade GPU’er tilgå data direkte.

Tre annonceringer med samme mål

cuFile bliver åbent

Nvidia vil åbne cuFile-API’erne og den underliggende, komplette softwarestak til lagring. Teknologien gør det muligt for GPU’er – og ikke kun CPU’er – at læse fra og skrive direkte til lagring .

cuFile er en central del af GPUDirect Storage (GDS) . Koden skal ligge på GitHub under den nye organisation xio-sig, som står for Accelerated I/O Special Interest Group. Google, Intel, Nvidia og Meta er de første vedligeholdere .

Det kan gøre cuFile til en mere åben og leverandøruafhængig grænseflade i stedet for en Nvidia-specifik løsning . Der er dog en vigtig reservation: En analyse offentliggjort kort efter annonceringen pegede på, at der pr. 4. august 2026 endnu ikke var offentlig kode, licens, understøttelsesoversigt for kerner eller migreringsvej for eksisterende GPUDirect Storage-installationer . For it-arkitekter er det derfor foreløbig en annonceret retning – ikke nødvendigvis en færdig release.

Storage-Next samler branchen

Storage-Next er et formelt brancheinitiativ med over 40 leverandører af lagring og flash, herunder DDN, KIOXIA og Micron. Initiativet omfatter også producenter af controllere, specialister i køling og organisationer, der arbejder med standarder .

Formålet er at skabe fælles retningslinjer for, hvordan GPU-drevet lagring skal fungere, og omsætte udviklingen til åbne, interoperable industristandarder . Det skal forhindre, at hurtigere AI-lagring bliver låst til én leverandørs teknologi.

SCADA flytter mere af arbejdet til GPU’en

SCADA står for Scaled, Accelerated Data Access og er den produktmodne version af Nvidias tidligere BaM-forskning, som blev præsenteret på ASPLOS 2023 .

Rammen gør det muligt for massivt parallelle GPU’er selv at starte og styre deres lager-I/O. Hundredtusindvis af GPU-tråde kan dermed hver især anmode om data, samle små og spredte forespørgsler og hente data fra en cache på GPU’en. Adgangen kan gå direkte til lokal NVMe-lagring eller fjernlagring .

Sådan skal teknologierne afhjælpe flaskehalsene

1. Færre GPU’er, der står stille

I traditionel, værtsstyret I/O skal CPU’en sætte hver lageroverførsel op. GPU’en må derfor vente, mens CPU’en håndterer overførslen, og hver operation medfører mikrosekunders overhead fra kernel-start og synkronisering mellem CPU og GPU .

cuFile fjerner CPU’en fra selve datavejen: Data kan flyttes direkte til GPU-hukommelsen ved hjælp af DMA . SCADA går et skridt videre og fjerner CPU’en fra kontrolvejen. GPU-trådene kan selv starte læsninger, samle små forespørgsler og levere data fra en cache på GPU’en .

I den underliggende BaM-forskning kørte dataanalysearbejdsbelastninger 5,3 gange hurtigere end med CPU-initieret adgang på identisk hardware. Grafarbejdsbelastninger havde samtidig op til 21,7 gange lavere hardwareomkostninger sammenlignet med lagring af data i værtsbaseret hukommelse .

2. Lagring, der kan følge med AI

Moderne GPU’er kan behandle data hurtigere, end mange lagringssystemer kan levere dem. Den forskel er blevet en central flaskehals for både AI-træning og inferens .

cuFile skal give sikker adgang til data fra lagring på mikrosekundniveau ved hjælp af hundredtusindvis af GPU-tråde og hukommelse med høj båndbredde . I praksis skaber det en hurtig forbindelse mellem dyb lagring og GPU-hukommelse – noget, der især er relevant for:

• retrieval-augmented generation (RAG), hvor modeller henter viden fra eksterne datakilder
• mixture-of-experts-modeller, der fordeler arbejdet mellem mange modelkomponenter
• agentbaserede AI-arbejdsgange, som løbende skal hente store mængder data parallelt

Storage-Next skal sikre, at udviklingen ikke bliver et rent Nvidia-projekt. Med over 40 leverandører, der samarbejder om interoperable standarder, er ambitionen, at flashlagring, controllere og netværk kan følge GPU’ernes hastighed .

3. Sikker direkte adgang

Direkte GPU-til-lagring-adgang kan også skabe et sikkerhedsproblem. Uden tilstrækkelig beskyttelse kan én applikation i værste fald få mulighed for at læse eller ændre en anden applikations data .

SCADA’s design opdeler derfor rettighederne. Den ydelseskritiske applikationskode kører uden privilegier og uden for den betroede beregningsbase. En privilegeret komponent konfigurerer under opsætningen beskyttet adgang mellem den enkelte applikation og netop den lagring, den er godkendt til at bruge. Modellen bygger på standardmekanismer i Linux .

Nvidia beskriver samtidig cuFile som et fundament for AI-baseret cybersikkerhed. Hurtig og sikker adgang til data og lagring skal gøre det muligt for både forebyggende og opdagende sikkerhedsværktøjer at arbejde i samme tempo som AI-systemerne . Initiativet kobles også til Open Secure AI Alliance .

Den samlede hardwarestak med Nvidias Vera BlueField-4 STX-processorer benytter desuden den samlede NVIDIA DOCA-sikkerhedsstak til løbende håndhævelse af politikker i AI-datavejen .

Hvad betyder det for AI-infrastrukturen?

FMS 2026-annonceringerne er Nvidias hidtil mest omfattende forsøg på at mindske misforholdet mellem GPU’ernes beregningshastighed og den hastighed, lagringssystemerne kan levere data med.

Åbningen af cuFile er et forsøg på at få fællesskabsdrevet udvikling og bredere interoperabilitet til at accelerere udbredelsen . Storage-Next skal koordinere leverandørerne, så flash, controllere og netværk udvikles i samme retning . Og SCADA giver en konkret model for at fjerne CPU’en som flaskehals – både fra dataoverførslen og fra styringen af de mange lagerforespørgsler .

Det afgørende næste spørgsmål bliver, hvornår den annoncerede åbne cuFile-stak faktisk bliver tilgængelig med kode, licens og en klar vej for eksisterende installationer.