Frameworks desktop met 192 GB laat zien waarom unified memory belangrijk wordt voor lokale AI

Frameworks toekomstige Desktop-configuratie richt zich op een knelpunt dat iedereen die grote taalmodellen lokaal wil draaien vroeg of laat tegenkomt: niet de opslagruimte, maar het werkgeheugen. De compacte pc combineert AMD’s 16-core Ryzen AI Max+ PRO 495 met maximaal 192 GB gedeeld LPDDR5X-8533-geheugen en een geheugenbandbreedte van 273 GB/s. Een afzonderlijk experiment van Microsoft kan zulke systemen bovendien beter beheersbaar maken in Windows 11, al is dat experiment nog niet af en niet officieel aangekondigd.

Samen laten de ontwikkelingen zien dat lokale AI steeds meer een kwestie van geheugencapaciteit en geheugenbandbreedte wordt. Dat betekent niet dat cloud-AI verdwijnt, maar wel dat een compacte desktop steeds vaker als lokale modelserver kan fungeren.

Wat zit er in Frameworks desktop met 192 GB?

De topconfiguratie krijgt AMD’s Ryzen AI Max+ PRO 495: een processor met 16 Zen 5-cores en 32 threads, Radeon-geïntegreerde graphics en een XDNA 2-NPU. Framework vermeldt 192 GB unified LPDDR5X-geheugen met een bandbreedte van 273 GB/s. Dat is 50 procent meer capaciteit dan de eerdere 128GB-configuratie met Ryzen AI Max+ 395 en 6,6 procent meer bandbreedte dan het vorige platform, dat 256 GB/s haalde. 12316

Bij unified memory gebruiken de processor en de geïntegreerde GPU hetzelfde fysieke geheugen. Framework zegt dat maximaal 160 GB aan de iGPU kan worden toegewezen. Dat is de belangrijkste troef voor gebruikers van lokale LLM’s: een groter deel van de modelgewichten kan in één geheugenpool blijven, in plaats van te worden verdeeld over beperkte VRAM van een losse videokaart en aanzienlijk trager systeemgeheugen. 110

Daar staat een duidelijke beperking tegenover. 273 GB/s is veel voor een compacte pc, maar aanzienlijk minder dan de bandbreedte van sommige high-end systemen met unified memory. Een model dat in het geheugen past, draait daarom niet automatisch snel. De contextlengte, andere desktopprogramma’s en meerdere gelijktijdige gebruikers kunnen allemaal om dezelfde bandbreedte concurreren.

Welke modellen kan de pc draaien?

Framework heeft volgens berichtgeving over de preview een Q8-gequantiseerde versie van DeepSeek V4-Flash lokaal laten draaien, met nog ruimte voor extra context. 714 Een ander verslag beschrijft de 192GB-configuratie als een systeem waarin een model van ongeveer 284 miljard parameters in het geheugen past. Dat is vooral een uitspraak over geheugencapaciteit, geen onafhankelijke benchmark voor de uiteindelijke generatiesnelheid. 4

Quantisatie is hierbij essentieel. Door modelgewichten met minder bits weer te geven, daalt de benodigde hoeveelheid geheugen. De uiteindelijke vereisten hangen echter ook af van de modelarchitectuur, runtime-overhead, contextlengte en de programma’s die tegelijkertijd actief zijn.

Kort gezegd: capaciteit bepaalt welk model mogelijk kan worden geladen; bandbreedte, software en rekenkracht bepalen hoe bruikbaar het in de praktijk is.

Wat verandert Microsofts Windows 11-experiment?

Microsoft test naar verluidt intern een Windows 11-functie met de naam ‘IntelligentCarveout’ in experimentele build 29648.1000. In de code zijn verwijzingen gevonden naar ‘Reserved memory for accelerators’ en ‘Memory for graphics and AI acceleration’. Het lijkt erop dat Windows hiermee een vast deel van unified memory kan reserveren voor graphics en AI-intensieve toepassingen, in plaats van de volledige geheugenpool uitsluitend dynamisch te beheren. 333435

Dat kan nuttig zijn op systemen waarop Windows-programma’s en een AI-runtime om hetzelfde geheugen strijden. Een gereserveerd gebied kan een modelserver voorspelbaarder toegang geven tot geheugen en fouten voorkomen wanneer andere programma’s de beschikbare ruimte aanspreken.

De functie voegt echter geen RAM toe, verhoogt de geheugenbandbreedte niet en introduceert geen nieuwe AI-accelerator. Gereserveerd geheugen is bovendien niet beschikbaar voor gewone toepassingen. Wie meer geheugen aan AI toewijst, houdt dus minder over voor Windows en andere software. Microsoft heeft de interface, ondersteunde hardware, releasedatum en de uiteindelijke komst van de functie niet bevestigd. 364044

Uitbreidbaarheid en upgradebaarheid

Framework positioneert de Desktop als een compactere, modulaire en beter repareerbare pc dan veel concurrerende mini-pc’s. Naar verwachting blijft ook een open PCIe x4-uitbreidingsslot beschikbaar, zodat gebruikers later compatibele uitbreidingshardware kunnen toevoegen. 13

Het geheugen zelf is niet modulair. De 192 GB LPDDR5X zit op het moederbord en bestaat niet uit verwisselbare DIMM-modules. Kopers moeten de gekozen capaciteit daarom als vast beschouwen. Wie later meer geheugen nodig heeft, zal doorgaans het moederbord moeten vervangen in plaats van simpelweg RAM bij te plaatsen. 13

Framework noemt zowel Windows- als Linux-scenario’s en biedt ook een Linux-preloadoptie aan. 2 Of lokale inferentie daadwerkelijk goed werkt, hangt vervolgens af van de gekozen runtime en versnellingstechniek. AMD-systemen kunnen gebruikmaken van softwarestacks zoals ROCm of Vulkan. Andere platforms leunen bijvoorbeeld op Apples Metal/MLX of NVIDIA’s CUDA-ecosysteem. Die omgevingen zijn niet onderling uitwisselbaar: een model dat op het ene platform goed werkt, kan op een ander platform een andere runtime of minder optimalisatie nodig hebben. 1924

Prijs en beschikbaarheid zijn nog onbekend

Op 31 augustus 2026 vermeldde Framework de Desktop met Ryzen AI Max+ PRO 495 en 192 GB nog als ‘coming soon’. Er was geen prijs, pre-orderdatum, leverdatum of toezegging over brede beschikbaarheid gepubliceerd. 21011

Het is daarom te vroeg om definitieve uitspraken te doen over prestaties of prijs-kwaliteitverhouding. De 192GB-versie is nog een preview. De getoonde demonstraties vervangen geen onafhankelijke tests van tokens per seconde, temperaturen, stroomverbruik, modelcompatibiliteit en langdurige belasting. 6

Hoe verhoudt Framework zich tot de concurrentie?

Framework bedenkt het concept niet opnieuw. Apple gebruikt al langer gedeeld geheugen in Apple Silicon-systemen. Voor een Mac Studio met M4 Max wordt bijvoorbeeld 128 GB met 546 GB/s genoemd. 1720 Compacte AMD-systemen met Ryzen AI Max+ 395 van fabrikanten als GMKtec en Beelink bieden alternatieven met 128 GB gedeeld geheugen. NVIDIA’s DGX Spark-achtige systemen leggen juist meer nadruk op CUDA-compatibiliteit in een vergelijkbare compacte vormfactor met veel geheugen. 1924

Voor kopers komen uiteindelijk vijf factoren samen:

• Capaciteit: bepaalt of een gequantiseerd model kan worden geladen zonder veel gegevens naar trager geheugen te verplaatsen.
• Bandbreedte: heeft grote invloed op de snelheid waarmee modelgegevens tijdens inferentie worden verwerkt.
• Software: bepaalt welke runtimes, kernels en modelservers goed functioneren.
• Upgradebaarheid: is belangrijk omdat unified LPDDR5X-geheugen doorgaans bij aankoop vastligt.
• Prijs en beschikbaarheid: bepalen of een aangekondigde configuratie ook echt een praktische aankoopoptie is.

De bredere les voor lokale AI

De opvallendste specificatie van Frameworks Desktop is niet het aantal NPU-TOPS, maar de ongewoon grote gedeelde geheugenpool. Microsofts voorgestelde Windows-functie benadrukt hetzelfde punt: naarmate pc’s grotere modellen lokaal uitvoeren, wordt geheugenbeheer door het besturingssysteem onderdeel van de AI-ervaring.

Dat maakt lokale pc’s nog geen vervanging voor cloud-inferentie. Unified-memory-systemen zijn aantrekkelijk wanneer een gebruiker een model op één machine wil draaien, bijvoorbeeld voor offline gebruik of een voorspelbare lokale werkomgeving. Cloudinfrastructuur blijft geschikter voor modellen aan de absolute top, flexibel opschalen, samenwerking en workloads die veel hogere multi-GPU-doorvoer nodig hebben.

De waarschijnlijkere conclusie is dat de term ‘AI-pc’ een bredere betekenis krijgt. Het gaat niet langer alleen om een NPU voor een assistent op de achtergrond. Met voldoende unified memory kan een kleine desktop uitgroeien tot een lokale modelbox. Voor een verstandige aankoop blijven echte benchmarks, geheugenbandbreedte, softwareondersteuning, het vaste geheugen en bevestigde beschikbaarheid echter belangrijker dan een veelbelovende preview.