Nvidias lokale KI-satsing: Slik endrer PAIR og RTX Spark spillereglene

Nvidias IFA-annonseringer handler ikke bare om å kunne kjøre en språkmodell uten internett. Selskapet prøver å samle flere deler som til nå ofte har vært et gjør-det-selv-prosjekt: modellkjøring, KI-agenter, flere datamaskiner og maskiner med mye minne.

Målet er lokale og private agentarbeidsflyter som er enklere å sette opp – og som takler flere oppgaver parallelt. 1021

PAIR gjør hjemmenettet til en pool for KI-forespørsler

Den mest særpregede nyheten er NVIDIA Personal AI Router (PAIR), en gratis betaversjon med åpen kildekode for lokal inferens, altså kjøring av KI-modeller. PAIR gir apper og agenter én lokal adresse å sende forespørsler til, og velger deretter hvilken sammenkoblet maskin på lokalnettet som skal behandle hver enkelt, uavhengige forespørsel.

Løsningen tilbyr proxy-endepunkter som er kompatible med Ollama- og OpenAI-lignende grensesnitt. Dermed kan eksisterende arbeidsflyter i mange tilfeller tas i bruk uten å bygges om rundt et nytt agentrammeverk. PAIR er rettet mot Ollama- og LM Studio-baserte oppsett. 1310

Dette er særlig relevant når en KI-agent deler en større jobb i flere samtidige deloppgaver, eller setter underagenter til arbeid. I stedet for at alle forespørslene står i kø ved én GPU, kan PAIR sende separate forespørsler til maskinen som har riktig modell og motor tilgjengelig, og som har ledig kapasitet. 11011

Viktig begrensning: PAIR slår ikke sammen grafikkort

PAIR er en forespørselsruter, ikke en løsning som gjør flere grafikkort i huset om til én stor akselerator. Hver uavhengige forespørsel blir behandlet av én valgt maskin.

Fordelen er derfor høyere kapasitet for parallelle, oppdelbare oppgaver og mindre venting. Det betyr derimot ikke at flere PC-er kan slå sammen videominne slik at én enkelt modell som er for stor for alle maskinene hver for seg, plutselig får plass. 123

Nvidia oppgir støtte for kompatible Windows-maskiner med RTX, DGX Spark-systemer og macOS-enheter. De publiserte kravene omfatter GeForce RTX 20-serien eller nyere, DGX Spark/GB10 og Mac-maskiner med M4 eller nyere, i tillegg til krav til operativsystem. 8

For den som har for eksempel en stasjonær PC, en bærbar PC og en kompatibel Mac eller DGX Spark på samme nettverk, kan ubrukt maskinvare dermed bidra til parallelle lokale oppgaver. Nvidia fremhever også personvern som en sentral del av løsningen: ledetekster, filer og agentkontekst skal bli værende på hjemmenettet. 48

Enklere vei til lokale KI-agenter

Nvidia presenterte også Hermes Agent, OpenClaw og Perplexity Portable Computer som enklere innganger til å kjøre agenter på lokal Nvidia-maskinvare. De annonserte Windows-opplevelsene bygger på llama.cpp og inkluderer Nvidias inferensoptimaliseringer. Det skal redusere behovet for manuelt å velge modell, finne en kompatibel inferenstjeneste og finjustere innstillinger. 1521

Dette kan være minst like viktig som ren regnekraft. Lokal KI har ofte vært mer begrenset av installasjon og konfigurasjon enn av selve maskinvaren. Nvidia opplyser at Hermes skal gi ettklikksinstallasjon på RTX- og DGX-systemer i Windows og Linux, mens OpenClaw forenkler oppsettet på Windows-PC-er med støttet RTX-maskinvare. 21

Raskere inferens er programvaregulroten

Selskapet annonserte dessuten oppdaterte optimaliseringer for llama.cpp og vLLM, med en påstått forbedring i lokal inferens på opptil 1,9 ganger. Nvidia sier programvaren er tilgjengelig direkte og gjennom LM Studio, mens en ytelsesoppdatering for Ollama er planlagt. 1021

Tallet er imidlertid et leverandøroppgitt maksimum under bestemte arbeidsbelastninger – ikke en garanti for alle modeller eller grafikkort. Den faktiske gevinsten avhenger blant annet av modellarkitektur, kvantisering, lengden på ledeteksten, maskinvare og om arbeidet kan deles i uavhengige forespørsler.

Likevel er strategien tydelig: Nvidia optimaliserer kjente verktøy med åpen kildekode, i stedet for å kreve at brukerne bytter til et rent Nvidia-eid modellgrensesnitt. 1017

RTX Spark gir PC-er mer minne for større lokale modeller

På maskinvaresiden opplyste Nvidia at RTX Spark-PC-er for Windows, basert på den Arm-baserte N1X-plattformen, er ventet i oktober. Toppkonfigurasjonen kombinerer en 20-kjerners Grace-prosessor med en Blackwell RTX-GPU og kan levere opptil 128 GB delt minne og opptil én petaflop KI-ytelse. 3440

Delt minne er spesielt interessant for lokal KI fordi modellstørrelse og kontekstvindu ofte begrenses av hvor mye minne som er tilgjengelig, ikke bare av hvor rask GPU-en er. RTX Spark er ment som en ny, kraftigere Windows-kategori for lokale agenter og større private arbeidslaster, samtidig som den beholder vanlig grafikkfunksjonalitet. Nvidia har opplyst at partnere som Lenovo og Acer vil komme med RTX Spark-maskiner. 253242

Fire hindringer Nvidia forsøker å fjerne

Sett under ett retter nyhetene seg mot fire vanlige problemer med lokal KI:

• Oppsett: Agentapper skal redusere den manuelle jobben med å velge og konfigurere en lokal KI-stakk. 1521
• Ytelse: Arbeidet med llama.cpp og vLLM skal gjøre inferens raskere på én maskin. 1017
• Parallell kapasitet: PAIR gjør ledige, kompatible enheter tilgjengelige for separate lokale forespørsler. 13
• Større arbeidslaster: RTX Spark tilbyr en Windows-plattform med betydelig mer delt minne enn en typisk forbruker-PC med separat GPU-konfigurasjon. 4042

Det sentrale forbeholdet er at komponentene løser ulike problemer. PAIR er nyttig når inferens kan parallelliseres, men gjør ikke at én modell blir større enn det én av maskinene kan håndtere. RTX Spark kan på sin side løse minneproblemet med store konfigurasjoner med delt minne, men er ny maskinvare – ikke en gratis oppgradering av PC-en du allerede har. Ytelsespåstandene må også prøves mot reelle arbeidslaster. 1240

Likevel fremstår IFA-pakken som en samlet strategi: Nvidia vil gjøre lokal KI mindre avhengig av kommandolinjer og løst sammenkoblede verktøy, og mer som et integrert alternativ for agenter, skapere og utviklere som vil ha større kontroll over hvor KI-arbeidet deres skjer. 1014