HP, Red Hat en NVIDIA plannen edge-AI-platform rond ZGX Fury

HP, Red Hat en NVIDIA werken aan een open AI-platform voor bedrijven dat AI-inferentie vanuit het datacenter naar de edge moet brengen. De geplande oplossing combineert HP's ZGX Fury AI-station met Red Hat AI Factory with NVIDIA, met als doel productie-inferentie uit te voeren en meerdere AI-werklasten te orkestreren dichter bij de gebruikers, applicaties, machines en data die ermee werken. 213

De hardware: HP ZGX Fury

De kern van de hardware is de HP ZGX Fury, aangedreven door NVIDIA's GB300 Grace Blackwell Ultra Desktop Superchip. Volgens HP is het systeem ontworpen voor maximaal 20 PFLOPS aan FP4-AI-prestaties bij lokale inferentiewerklasten. 14

HP positioneert de combinatie nadrukkelijk niet alleen als een krachtig werkstation. Het moet een bedrijfsplatform worden waarop meerdere AI-werklasten buiten een centraal datacenter kunnen draaien en worden beheerd. De beoogde inzet loopt van lokaal en in de cloud tot een combinatie van beide. 15

Red Hat als software- en beheerlaag

Red Hat AI Factory with NVIDIA levert de hybride-cloudlaag voor software en bedrijfsvoering. Red Hat omschrijft dit als een gezamenlijk ondersteunde AI-oplossing voor ondernemingen: Red Hats open hybride-cloudplatform, AI-engineering en operationele mogelijkheden worden daarin samengebracht met NVIDIA's AI-software, modellen, microservices, netwerken en versnelde infrastructuur. 12

In HP's voorgestelde opzet moet die laag organisaties helpen om AI-modellen en applicaties te implementeren en beheren op edge-locaties, in datacenters en in cloudomgevingen. Het platform wordt bovendien omschreven als open en gevirtualiseerd, met scheiding tussen werklasten en operationele controle. Zo zouden organisaties meerdere AI-werklasten op één systeem kunnen uitvoeren zonder dat die onderling vermengd raken. 813

Waarom inferentie dichter bij de operatie uitvoeren?

De centrale gedachte is lokale inferentie aan de edge: modelverzoeken verwerken in de buurt van de plek waar data ontstaat of wordt gebruikt, in plaats van uitsluitend via externe cloudinfrastructuur. HP noemt latency, privacy, datasoevereiniteit en connectiviteit als redenen waarom organisaties die optie kunnen willen. 8

Dat kan vooral relevant zijn als operationele data gevoelig is, de verbinding beperkt is of een reactie dicht bij een fysiek proces moet plaatsvinden. HP lichtte onder meer deze toepassingsgebieden uit:

• Maakindustrie, waar modellen dichter bij machines en productiegegevens kunnen draaien.
• Softwareontwikkeling, bijvoorbeeld voor afdelingsbrede of on-premises inferentie en AI-ondersteunde workflows.
• Zorg, waar gevoelige gegevens mogelijk dichter bij de bron moeten blijven.
• Overheid, waaronder air-gapped of geïsoleerde omgevingen waar cloudverbinding niet wenselijk of niet geschikt is. 58

Dit zijn beoogde toepassingen, geen prestatiegaranties. Of een organisatie er voordeel van heeft, hangt onder meer af van de modelgrootte, eisen voor dataverwerking, netwerkontwerp en beheerhulpmiddelen.

Beschikbaarheid: wat kan al en wat is nog gepland?

HP meldt dat de ZGX Fury te bestellen is en gecertificeerd is voor Red Hat Enterprise Linux. 48 De bredere combinatie van ZGX Fury en Red Hat AI Factory with NVIDIA is echter aangekondigd als een gepland platform, niet als een volledig geïntegreerde dienst die al algemeen beschikbaar is. 12

Volgens HP kunnen klanten de combinatie vooraf in een afgeschermde sandboxomgeving beoordelen op HP-apparaten met Red Hat AI Factory with NVIDIA, voordat zij toepassingen naar productie overbrengen. 2 De aankondiging noemt geen specifieke introductiedatum, voorwaarden voor deelname of technische details van die evaluatieomgeving.

Wat bedrijven hier praktisch aan hebben

Met deze aankondiging bundelt HP krachtige NVIDIA-hardware met een door Red Hat ondersteunde hybride AI-softwarestack. De aantrekkingskracht voor bedrijven zit niet alleen in de genoemde 20 PFLOPS FP4, maar in de mogelijkheid om productie-AI dichter bij operationele data te draaien en tegelijk één consistente manier van implementeren en beheren te houden voor edge, datacenter en cloud. 11213

Wie de oplossing beoordeelt, moet wel onderscheid maken tussen wat er nu beschikbaar is — de ZGX Fury-hardware en de Red Hat Enterprise Linux-certificering — en wat nog in de planfase zit, waaronder het geïntegreerde platform en het aangekondigde sandboxtraject. 24