Nvidia yrittää vapauttaa tekoälyn datan odotuksesta kolmella uudella avauksella

Tavoite on kunnianhimoinen: estää GPU:ita seisomasta toimettomina datan saapumista odotellessa, kuroa umpeen tekoälyn laskennan ja tallennuksen välistä nopeuseroa sekä pitää suora GPU–tallennus-yhteys turvallisena.

Mitä Nvidia ilmoitti?

cuFile avataan avoimeksi teknologiaksi

Nvidia avaa cuFile-rajapinnat sekä niiden taustalla olevan kokonaisen vertikaalisen tallennusohjelmistopinon. Sen avulla GPU voi lukea dataa tallennuksesta ja kirjoittaa sitä sinne suoraan ilman, että CPU käsittelee jokaista siirtoa erikseen .

cuFile on keskeinen osa Nvidian GPUDirect Storage (GDS) -teknologiaa . Kehityksen on määrä tapahtua GitHubissa uuden xio-sig-organisaation alla. Ensimmäisiin ylläpitäjiin kuuluvat Google, Intel, Nvidia ja Meta . Tarkoitus on tehdä rajapinnasta yhteentoimiva ja yhteisövetoisesti kehitettävä ratkaisu sen sijaan, että se olisi vain Nvidian oma suljettu liittymä .

Käytännön toteutukseen liittyy kuitenkin vielä avoimia kysymyksiä. Erään julkaisun mukaan 4. elokuuta 2026 saatavilla ei ollut julkista koodia, lisenssiä, tuettuja kernel-versioita koskevaa matriisia tai siirtymäpolkua nykyisille GPUDirect Storage -asennuksille . Tallennusarkkitehtien kannattaa siis suhtautua ilmoitukseen toistaiseksi ennen kaikkea suunnanmuutoksena, ei valmiina yleisesti saatavana julkaisuna.

Storage-Next kokoaa yli 40 toimijaa

Storage-Next on muodollinen yhteistyöhanke, johon kuuluu yli 40 tallennus- ja flash-muistivalmistajaa. Mukana ovat muun muassa DDN, KIOXIA ja Micron, minkä lisäksi hankkeessa on ohjainvalmistajia, jäähdytysratkaisujen kehittäjiä ja standardointiorganisaatioita .

Tavoitteena on sopia yhteisistä toimintatavoista GPU-vetoiselle tallennukselle ja muuttaa kehitys avoimiksi, keskenään yhteensopiviksi alan standardeiksi . Näin tekoälyn tallennusratkaisut eivät jäisi yhden valmistajan ekosysteemin varaan.

SCADA siirtää tallennuksen ohjausta GPU:lle

SCADA on tuotteistettu versio Nvidian aiemmasta BaM-tutkimuksesta (Big Accelerator Memory), joka esiteltiin ASPLOS 2023 -tapahtumassa . Kyseessä on ajonaikainen ohjelmistokehys, jonka avulla massiivisesti rinnakkaiset GPU:t voivat käynnistää ja hallita omia tallennuksen I/O-operaatioitaan.

Käytännössä sadattuhannet GPU-säikeet voivat pyytää dataa tallennuksesta itsenäisesti. SCADA voi yhdistellä pieniä ja hajallaan olevia pyyntöjä, hyödyntää GPU:n omaa välimuistia sekä käyttää suoraan paikallista NVMe-tallennusta tai etätallennusta .

Miten ongelmat pyritään ratkaisemaan?

1. GPU:n odottelu vähenee

Perinteisessä mallissa CPU valmistelee jokaisen tallennussiirron. GPU joutuu odottamaan, ja jokainen operaatio lisää ytimen käynnistyksen sekä CPU:n ja GPU:n välisen synkronoinnin aiheuttamaa mikrosekuntien viivettä .

cuFile poistaa CPU:n varsinaiselta datapolulta: data voidaan siirtää DMA-tekniikalla suoraan GPU-muistiin . SCADA menee askeleen pidemmälle ja poistaa CPU:n myös ohjauspolulta. GPU-säikeet käynnistävät lukupyynnöt itse, yhdistävät pieniä pyyntöjä ja voivat palvella niitä GPU:n välimuistista .

BaM-tutkimukseen perustuvissa testeissä data-analytiikan työkuormat suoritettiin samanlaisella laitteistolla 5,3 kertaa nopeammin kuin CPU:n käynnistämillä siirroilla. Graafityökuormissa laitekustannus oli puolestaan jopa 21,7 kertaa pienempi kuin silloin, kun data säilytettiin isäntäkoneen muistissa . Tulokset ovat tutkimusperäisiä vertailuja, eivät lupaus jokaisen tuotantoympäristön vastaavasta suorituskyvystä.

2. Tallennuksen pullonkaulaa levennetään

Nykyiset GPU:t käsittelevät dataa nopeammin kuin useimmat tallennusjärjestelmät pystyvät toimittamaan sitä. Tämä nopeusero on yksi tekoälyn koulutuksen ja päättelyn keskeisistä pullonkauloista .

Nvidian mukaan cuFile mahdollistaa turvallisen, mikrosekuntitason pääsyn tallennettuun dataan satojentuhansien GPU-säikeiden ja suuren kaistanleveyden muistin avulla . Tämä voi olla tärkeää esimerkiksi hakuavusteisessa generoinnissa eli RAG-järjestelmissä, mixture-of-experts-malleissa ja agenttipohjaisissa tekoälysovelluksissa, joissa dataa haetaan nopeasti ja rinnakkain suuria määriä .

Storage-Nextin rooli on varmistaa, että tarvittava kehitys tapahtuu koko tallennusketjussa. Flash-muistit, ohjaimet, verkkoyhteydet, jäähdytys ja ohjelmistot on saatava toimimaan yhteen, jotta tallennus pysyy GPU-laskennan vauhdissa .

3. Suora yhteys ei saa avata tietoturva-aukkoa

Jos GPU:n suora pääsy tallennukseen toteutetaan ilman riittäviä suojauksia, yksi sovellus voisi teoriassa lukea toisen sovelluksen dataa tai muuttaa sitä . SCADA:n suunnittelussa käyttöoikeudet erotetaan toisistaan: suorituskykykriittinen sovelluskoodi toimii ilman erityisoikeuksia, kun taas etuoikeutettu komponentti määrittää suojatun yhteyden sovelluksen ja sille sallitun tallennuksen välille käyttöönoton aikana. Malli tukeutuu Linuxin vakiintuneisiin suojausmekanismeihin .

Nvidia pitää cuFilea myös tekoälypohjaisen kyberturvallisuuden perustana. Yhtiön mukaan puolustavat ja havaitsevat turvamekanismit tarvitsevat nopean ja turvallisen pääsyn dataan, sen asiayhteyteen ja tallennukseen . Avoin cuFile liittyy lisäksi uuteen Open Secure AI Alliance -yhteistyöhön .

Nvidian Vera BlueField-4 STX -prosessoreihin perustuvassa kokonaisuudessa jatkuvaa käytäntöjen valvontaa tuetaan yhtenäisellä NVIDIA DOCA -tietoturvapinoilla .

Mitä tämä merkitsee tekoälyinfrastruktuurille?

FMS 2026:n kolme ilmoitusta muodostavat Nvidian laajan yrityksen korjata ristiriitaa, jossa GPU:n laskentakyky kasvaa nopeammin kuin data saadaan sen käyttöön. cuFilen avaamisella Nvidia hakee laajempaa yhteentoimivuutta ja yhteisön osallistumista . Storage-Next puolestaan yrittää koordinoida koko tallennusalan kehitystä . SCADA tarjoaa konkreettisen tavan vähentää CPU:n roolia sekä datan siirtämisessä että tallennuspyyntöjen ohjaamisessa .

Vaikutus riippuu kuitenkin siitä, milloin avoin koodi, lisenssiehdot ja käytännön siirtymäohjeet julkaistaan. Jos hanke toteutuu ilmoitetulla tavalla, tekoälypalvelinten pullonkaula ei jatkossa välttämättä ole GPU:n laskentateho vaan se, kuinka nopeasti ja turvallisesti data saadaan tuotua sen käsiteltäväksi.