HP, Red Hat og NVIDIA vil bringe virksomheders AI-inference tættere på driften

HP, Red Hat og NVIDIA har annonceret planer om en åben AI-platform til virksomheder, der skal flytte AI-inference fra det centrale datacenter tættere på de mennesker, applikationer, maskiner og data, der bruger den. Løsningen skal kombinere HP's ZGX Fury AI-station med Red Hat AI Factory with NVIDIA. 213

ZGX Fury er hardwaregrundlaget

Kernen i løsningen er HP ZGX Fury, som drives af NVIDIAs GB300 Grace Blackwell Ultra Desktop Superchip. Ifølge HP er systemet designet til at levere op til 20 PFLOPS AI-ydeevne i FP4 til lokale inference-arbejdsbelastninger. 14

Det handler dermed ikke kun om en kraftig arbejdsstation. HP positionerer kombinationen af hardware og software som en virksomhedsplatform, der kan køre og orkestrere flere AI-arbejdsbelastninger uden for et centralt datacenter. Den er tænkt til brug lokalt, i skyen eller på tværs af begge miljøer. 15

Red Hat skal binde miljøerne sammen

Red Hat AI Factory with NVIDIA skal levere software- og driftslaget til hybrid cloud. Red Hat beskriver løsningen som et fællesudviklet og supporteret AI-tilbud til virksomheder, der samler Red Hats åbne hybrid-cloud-platform, AI-udviklingskompetencer og driftsfunktioner med NVIDIAs AI-software, modeller, mikrotjenester, netværk og accelererede infrastruktur. 12

I HP's foreslåede opsætning skal laget hjælpe organisationer med at udrulle og administrere AI-modeller og -applikationer på tværs af edge-lokationer, datacentre og cloudmiljøer. Platformen beskrives også som åben og virtualiseret, med isolering af arbejdsbelastninger og driftskontrol. Formålet er at gøre det muligt at køre flere AI-arbejdsbelastninger på samme system, uden at de blandes sammen. 813

Hvorfor køre inference tæt på data?

Det centrale princip er lokal inference eller edge-inference: Modelanmodninger behandles tættere på det sted, hvor data skabes eller bruges, frem for udelukkende i et fjernt cloudmiljø. HP peger på latenstid, privatliv, datasuverænitet og forbindelsesmuligheder som årsager til, at virksomheder kan have behov for denne model. 8

Det kan være relevant, når driftsdata er følsomme, netværksforbindelsen er begrænset, eller en respons skal ske tæt på en fysisk proces. HP fremhævede blandt andet disse anvendelsesområder:

• Produktion, hvor modeller kan køre tæt på maskiner og produktionsdata.
• Softwareudvikling, herunder inference på afdelingsniveau eller lokalt hos virksomheden samt AI-understøttede arbejdsgange.
• Sundhedsvæsenet, hvor følsomme data kan have behov for at blive nær deres kilde.
• Offentlig sektor, herunder air-gapped og isolerede miljøer, hvor cloudforbindelse kan være uegnet. 58

Det er eksempler på mulige brugsscenarier – ikke løfter om en bestemt ydelse. Det konkrete udbytte vil afhænge af blandt andet modellernes størrelse, kravene til datahåndtering, netværksdesignet og de værktøjer, der bruges til drift.

Tilgængelighed: Hardwaren er klar, platformen er på vej

HP oplyser, at ZGX Fury kan bestilles nu, og at systemet er certificeret til Red Hat Enterprise Linux. 48 Den bredere, integrerede løsning med ZGX Fury og Red Hat AI Factory with NVIDIA er derimod annonceret som en planlagt platform og ikke som en fuldt generelt tilgængelig tjeneste. 12

Kunder skal desuden kunne evaluere kombinationen i et afgrænset sandbox-miljø på HP-enheder med Red Hat AI Factory with NVIDIA, før de flytter konkrete brugsscenarier til produktion. 2 HP har ikke oplyst en præcis lanceringsdato, kriterier for adgang eller den tekniske konfiguration af evalueringsmiljøet.

Det vigtigste for virksomheder

HP forsøger at pakke kraftig NVIDIA-hardware på egne systemer sammen med Red Hats softwarelag til hybrid AI-drift. Det interessante er derfor ikke kun tallet på 20 PFLOPS i FP4, men muligheden for at afvikle produktions-AI tættere på driftsdata og samtidig bruge en ensartet tilgang til udrulning og administration på edge-lokationer, i datacentre og i skyen. 11213

Virksomheder, der vurderer løsningen, bør skelne mellem det, der er tilgængeligt nu – ZGX Fury-hardware og certificeringen til Red Hat Enterprise Linux – og det, der fortsat er planlagt, herunder den annoncerede sandbox-vej til evaluering. 24