HP, Red Hat och Nvidia planerar AI-plattform för edge-miljöer

HP, Red Hat och Nvidia utvecklar en öppen AI-plattform för företag som ska flytta produktionsinferens närmare användare, applikationer, maskiner och data. Lösningen är tänkt att föra ut delar av AI-arkitekturen från datacentret till så kallade edge-miljöer – alltså platser närmare där data skapas och används. 213

Kärnan: HP ZGX Fury med Nvidia GB300

Hårdvaran i satsningen är HP ZGX Fury, en AI-station med Nvidia GB300 Grace Blackwell Ultra Desktop Superchip. HP uppger att systemet är konstruerat för upp till 20 PFLOPS AI-prestanda i FP4 vid lokal inferens. 14

Det handlar därmed inte enbart om en kraftfull arbetsstation. HP beskriver upplägget som en företagsplattform för att köra och orkestrera flera AI-arbetslaster utanför ett centralt datacenter. Arbetslasterna ska kunna placeras lokalt, i molnet eller fördelas mellan båda miljöerna. 15

Red Hat ska stå för hybridmolnlagret

Red Hat AI Factory with NVIDIA är den mjukvaru- och driftmiljö som ska knyta ihop plattformen. Red Hat beskriver erbjudandet som en gemensamt stödd företagslösning som kombinerar bolagets öppna hybridmolnplattform och AI-kompetens med Nvidias AI-mjukvara, modeller, mikrotjänster, nätverk och accelererade infrastruktur. 12

I HP:s planerade lösning ska lagret användas för att driftsätta och hantera AI-modeller och applikationer över edge-platser, datacenter och moln. Plattformen beskrivs också som öppen och virtualiserad, med isolering mellan arbetslaster och operativ kontroll. Det ska göra det möjligt att köra flera AI-arbetslaster på samma system utan att de blandas samman. 813

Varför köra inferens lokalt?

Med lokal inferens bearbetas AI-modellens förfrågningar närmare platsen där data uppstår eller används, i stället för att alltid skickas till ett fjärranslutet moln. HP lyfter kort svarstid, integritet, datasuveränitet och begränsad uppkoppling som skäl för företag att vilja ha det alternativet. 8

HP pekar särskilt på fyra typer av användning:

• Tillverkning, där modeller kan köras nära maskiner och produktionsdata.
• Mjukvaruutveckling, exempelvis för inferens på avdelningsnivå eller AI-stödda arbetsflöden på den egna anläggningen.
• Sjukvård, där känsliga uppgifter kan behöva hållas närmare källan.
• Offentlig sektor, inklusive luftgapade eller isolerade miljöer där molnanslutning är olämplig eller inte möjlig. 58

Det är dock exempel på tänkta användningsfall, inte löften om en viss effekt. Nyttan beror bland annat på modellernas storlek, kraven på datahantering, nätverksarkitektur och organisationens driftverktyg.

Tillgänglighet: hårdvaran finns, helheten är planerad

HP uppger att ZGX Fury kan beställas och att den är certifierad för Red Hat Enterprise Linux. 48

Den bredare, integrerade lösningen med ZGX Fury och Red Hat AI Factory with NVIDIA presenteras däremot som en planerad plattform, inte som en färdig och generellt tillgänglig helhetstjänst. 12

Företaget säger också att kunder ska kunna utvärdera kombinationen i en avskild sandlådemiljö på HP-enheter med Red Hat AI Factory with NVIDIA innan användningsfall flyttas till produktion. Något exakt lanseringsdatum, behörighetskrav eller teknisk specifikation för den miljön har inte angetts. 2

Vad det betyder för företag

HP:s utspel är i praktiken ett försök att paketera kraftfull Nvidia-hårdvara på den egna anläggningen med Red Hats programvara för hybrid drift. Det centrala är inte bara prestandasiffran på 20 PFLOPS i FP4, utan möjligheten att köra produktions-AI närmare verksamhetsdata och samtidigt använda en gemensam modell för driftsättning och hantering i edge-, datacenter- och molnmiljöer. 11213

För organisationer som utvärderar lösningen är skillnaden mellan tillgängligt och planerat viktig: ZGX Fury-hårdvaran och Red Hat Enterprise Linux-certifieringen finns redan, medan den integrerade plattformen och den aviserade sandlådeutvärderingen återstår. 24