HP vil flytte bedrifts-AI nærmere dataene med ZGX Fury

HP, Red Hat og NVIDIA har varslet en planlagt, åpen AI-plattform for bedrifter som skal flytte deler av AI-driften ut fra sentraliserte datasentre og nærmere der dataene oppstår og brukes. Løsningen kombinerer HP ZGX Fury med Red Hat AI Factory with NVIDIA, med mål om å kjøre produksjonsinferens nær brukere, applikasjoner, maskiner og data. 213

ZGX Fury er maskinvaren i sentrum

Kjernen i maskinvarestakken er HP ZGX Fury, en AI-stasjon basert på NVIDIAs GB300 Grace Blackwell Ultra Desktop Superchip. HP oppgir at systemet er konstruert for opptil 20 PFLOPS FP4-AI-ytelse ved lokale inferensarbeidslaster. Inferens er fasen der en ferdigtrent modell brukes til å gi svar, gjøre vurderinger eller utføre oppgaver. 14

Dette er dermed ikke bare en kraftig arbeidsstasjon. HP posisjonerer kombinasjonen av maskinvare og programvare som en bedriftsplattform for å kjøre og orkestrere flere AI-arbeidslaster utenfor det sentraliserte datasenteret. Den er laget for distribusjoner lokalt, i skyen eller på tvers av begge miljøer. 15

Red Hat skal gi felles drift på tvers av miljøer

Red Hat AI Factory with NVIDIA utgjør programvare- og driftslaget for hybrid sky. Red Hat beskriver tilbudet som en fellesutviklet og støttet AI-løsning for bedrifter, som samler Red Hats åpne hybridskyplattform, AI-teknikk og driftsverktøy med NVIDIAs AI-programvare, modeller, mikrotjenester, nettverk og akselererte infrastruktur. 12

I HPs planlagte oppsett skal dette laget hjelpe virksomheter med å rulle ut og administrere AI-modeller og -applikasjoner på edge-lokasjoner, i datasentre og i skyen. Plattformen beskrives også som åpen og virtualisert, med isolering av arbeidslaster og driftskontroll. Hensikten er å la virksomheter kjøre flere AI-arbeidslaster på samme system, men samtidig holde dem adskilt. 813

Hvorfor kjøre inferens lokalt?

Det viktigste arkitekturvalget er lokal inferens ved kanten av nettet – ofte kalt edge-inferens. I stedet for at alle forespørsler sendes til en ekstern skytjeneste, behandles de nærmere stedet der dataene skapes eller trengs. HP peker på responstid, personvern, datasuverenitet og tilkobling som årsaker til at bedrifter kan ønske dette. 8

Det kan være aktuelt der driftsdata er sensitive, nettforbindelsen er begrenset, eller systemet må reagere tett på en fysisk prosess. HP løftet særlig frem disse bruksområdene:

• Industri og produksjon, der modeller kan kjøre nær maskiner og produksjonsdata.
• Programvareutvikling, blant annet inferens på avdelingsnivå eller lokalt i virksomheten og AI-støttede arbeidsflyter.
• Helse, der følsomme data kan trenge å bli værende nær kilden.
• Offentlig sektor, inkludert isolerte eller såkalte air-gapped-miljøer uten egnet skytilkobling. 58

Dette er eksempler på mulige bruksområder, ikke ytelsesgarantier. Den faktiske nytten vil avhenge av blant annet modellstørrelse, krav til databehandling, nettverksoppsett og driftsverktøy.

Tilgjengelig nå – og det som fortsatt er planlagt

HP opplyser at ZGX Fury kan bestilles og er sertifisert for Red Hat Enterprise Linux. 48 Den bredere løsningen som kombinerer ZGX Fury og Red Hat AI Factory with NVIDIA, er derimot annonsert som en planlagt plattform – ikke som en fullt tilgjengelig, ferdigintegrert tjeneste for alle. 12

HP sier også at kunder skal kunne evaluere kombinasjonen i et sandkassemiljø på HP-enheter som kjører Red Hat AI Factory with NVIDIA, før de flytter brukstilfeller til produksjon. 2 Kunngjøringen oppgir imidlertid ingen konkret lanseringsdato, kvalifikasjonskrav eller teknisk konfigurasjon for dette evalueringsmiljøet.

Kort fortalt

HP forsøker å pakke kraftig NVIDIA-maskinvare på eget område sammen med Red Hats programvarestakk for hybrid AI-drift. For bedrifter er poenget ikke bare tallet på 20 PFLOPS FP4, men muligheten til å kjøre AI nærmere driftsdataene og samtidig bruke en mer ensartet modell for utrulling og administrasjon i edge-miljøer, datasentre og skyen. 11213

De som vurderer løsningen, bør skille mellom det som er tilgjengelig nå – ZGX Fury-maskinvaren og sertifiseringen for Red Hat Enterprise Linux – og den fortsatt planlagte integrerte plattformen, inkludert den varslede sandkasseevalueringen. 24