AntwortenVeröffentlicht16 Quellen
MLPerf Inference v6.1: KI-Inferenz wird zum Systemvergleich
AMD erzielte mit einem Cluster aus 512 Instinct MI355X GPUs den höchsten aggregierten Token Durchsatz der Runde – ein Maßstab für die Leistungsfähigkeit großer Inferenzflotten, nicht automatisch für jedes einzelne Dep... NVIDIAs Vera Rubin NVL72 tritt erstmals als Vorschauplattform an; Blackwell und Blackwell Ultra...
Veröffentlicht vonBearbeitet mit GPT-5.6 TerraBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- AMD erzielte mit einem Cluster aus 512 Instinct MI355X GPUs den höchsten aggregierten Token Durchsatz der Runde – ein Maßstab für die Leistungsfähigkeit großer Inferenzflotten, nicht automatisch für jedes einzelne Dep...
- NVIDIAs Vera Rubin NVL72 tritt erstmals als Vorschauplattform an; Blackwell und Blackwell Ultra bleiben für aktuelle, verfügbare Systeme zentral.
- Mit End to End RAG und Edge Agentic Inference testet MLPerf stärker mehrstufige KI Anwendungen statt nur isolierten Token Durchsatz.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1 ist weniger eine einfache Rangliste der schnellsten KI-Chips als ein Bild davon, wie sich KI-Inferenz verändert. Die wichtigsten Signale der Benchmark-Runde: AMD demonstriert mit Instinct MI355X enorme Cluster-Skalierung, NVIDIA liefert erste Vorschauwerte für Vera Rubin, Intel erweitert die Abdeckung für CPU- und Workstation-nahe Inferenz. Zugleich führen neue Tests für Retrieval-Augmented Generation (RAG) und KI-Agenten näher an typische Anwendungen heran.
Die entscheidende Vergleichseinheit ist damit nicht mehr allein die GPU. Relevant ist das gesamte verfügbare Serving-System – mit passendem Modell, Software-Stack, Netzwerkanbindung, Skalierung und den geforderten Latenzvorgaben.
AMD: Der große MI355X-Cluster rückt Gesamtskalierung in den Fokus
Das prominenteste AMD-Ergebnis kam von Crusoe: Ein System mit 512 Instinct-MI355X-GPUs erzielte in der v6.1-Runde die höchsten gemeldeten aggregierten Werte beim Token-Durchsatz. 5 Das ist vor allem ein Beleg für die Skalierung eines sehr großen Inferenzsystems. Bei einer solchen Konfiguration zählen nicht nur die Beschleuniger, sondern auch verteilte Inferenz, Netzwerk, Speicheranbindung und Systemintegration.
Als allgemeiner Sieg über alle Plattformen lässt sich ein 512-GPU-Ergebnis aber nicht lesen. Für einen sinnvollen Vergleich müssen GPU-Anzahl, Modell, Benchmarkszenario und Service-Level-Anforderungen übereinstimmen. Für sehr große Inferenzflotten kann der Gesamtdurchsatz die richtige Kennzahl sein. In einem konkreten Projekt können dagegen Durchsatz pro Beschleuniger, Rack-Dichte, Strombedarf, Lieferbarkeit und Betriebsaufwand wichtiger sein.
ROCm macht den Fortschritt zur Softwarefrage
AMDs Argument ist nicht nur eines der Hardware. Das Unternehmen verweist darauf, dass sich die Leistung derselben MI355X-Hardware gegenüber der vorherigen MLPerf-Runde durch ROCm-Optimierungen verbessert hat. Die strategische Bedeutung liegt auf der Hand: Compiler, Kernel, Modellruntimes und Software für verteiltes Serving können die nutzbare Kapazität bereits installierter Hardware erhöhen – ohne dass neue Beschleuniger gekauft werden müssen.
AMD hat zudem einen Release-Rhythmus von sechs Wochen für ROCm angekündigt. Wenn daraus verlässlich produktiv nutzbare Verbesserungen entstehen, wird die Geschwindigkeit der Softwareentwicklung zu einem Faktor bei den Kosten pro erzeugtem Token. Benchmark-Gewinne sollten Käufer allerdings mit dem eigenen Modellmix, der verwendeten Quantisierung, dem Framework, dem Anfrageprofil und den Latenzzielen gegenprüfen. Ein Vorteil in einem Benchmark überträgt sich nicht zwingend eins zu eins auf den Produktionsbetrieb.
NVIDIA: Vera Rubin zeigt Potenzial, Blackwell bedient den aktuellen Markt
NVIDIAs Vera Rubin NVL72 erscheint in MLPerf Inference erstmals als Vorschauplattform. NVIDIA meldet beim multimodalen Qwen3-VL bis zu 3,7-mal höheren Durchsatz als für GB300 NVL72. Außerdem erreichte eine Einreichung mit 288 GPUs über vier GB300-NVL72-Racks laut NVIDIA 99 % Skalierungseffizienz. 2
Das zentrale Vorbehalt bleibt die Verfügbarkeit. Vorschauergebnisse zeigen Architektur- und Softwarepotenzial, sind aber nicht automatisch ein kaufmännisch gleichwertiger Vergleich mit allgemein verfügbaren Systemen. Da die Vorschau-Einreichungen zudem mit unterschiedlichen Clustergrößen liefen, sind Werte pro GPU oder andere normierte Kennzahlen aussagekräftiger als der Gesamtdurchsatz eines Systems. 8
Für kurzfristige Bereitstellungen bleiben Blackwell und Blackwell Ultra maßgeblich. CoreWeave meldete etwa führende Ergebnisse unter Cloud-Anbietern für mehrere Blackwell- und Blackwell-Ultra-Konfigurationen bei Qwen3-VL, DeepSeek-R1 und GPT-OSS-120B. 4 Die praktische Schlussfolgerung lautet daher nicht „eine Plattform gewinnt alles“, sondern: Je nach Aufgabe unterscheiden sich die passenden Systeme. Extreme Clusterkapazität, Rack-Serving, multimodale Modelle und interaktive Latenz können jeweils andere Konfigurationen begünstigen.
Intel erweitert den Blick auf zugänglichere Inferenzsysteme
Intel bringt mit seinen Einreichungen CPU- und Workstation-GPU-basierte Inferenz stärker in die öffentliche Vergleichbarkeit. Ein Knoten mit vier Arc Pro B70 kommt auf zusammen 128 GB Videospeicher und wurde mit Llama-Modellen, GPT-OSS-120B, Whisper sowie dem neuen End-to-End-RAG-Test eingereicht. Intel berichtet für dieselbe Arc-Pro-B70-Konfiguration gegenüber der vorherigen Runde zudem Softwarefortschritte bei GPT-OSS-120B. 3
Das macht Arc Pro nicht zum direkten Ersatz für Hyperscale-Cluster mit spezialisierten KI-Beschleunigern. Die Ergebnisse machen MLPerf aber repräsentativer für Organisationen, die kleinere, kostensensiblere oder flexiblere Installationen bewerten – etwa wenn lokales Inferenz-Serving, Speicherkapazität oder bestehende Serverinfrastruktur den Ausschlag geben.
RAG und KI-Agenten machen MLPerf anwendungsnäher
MLCommons verzeichnete für v6.1 einen Rekord von 30 einreichenden Organisationen und 486 Ergebnissen aus Rechenzentrum und Edge. Neu hinzugekommen sind ein End-to-End-RAG-Benchmark für Rechenzentren sowie der Benchmark Edge Agentic Inference. 9
Das ist wichtig, weil agentische Anwendungen andere Engpässe offenlegen als ein herkömmlicher Offline-Test für Token-Durchsatz: mehrstufige Interaktionen, Werkzeugaufrufe, Orchestrierungsaufwand und Reaktionszeiten zwischen einzelnen Schritten. MLCommons beschreibt den Edge-Test als Abbild komplexer Aufgaben mit mehreren Gesprächszügen, etwa agentischem Programmieren. 9
Auch diese Tests bleiben kontrollierte Benchmarks und bilden keinen Live-Betrieb vollständig ab. Sie nähern sich jedoch den Workloads an, die viele Unternehmen tatsächlich einführen wollen.
MLPerf Endpoints: Möglicher nächster Schritt
MLCommons hat außerdem MLPerf Endpoints als mögliche Richtung vorgestellt. Der Unterschied wäre grundlegend: Statt ausschließlich periodischer Benchmark-Einreichungen könnte die beobachtbare Leistung laufender Serving-Endpunkte stärker in den Vordergrund treten. Das würde Aspekte wie Verhalten unter Last, Latenzstabilität, Verfügbarkeit und betriebliche Wiederholbarkeit stärker gewichten – nicht nur einen Spitzenwert aus einem festgelegten Benchmark-Lauf.
Für Käufer ist das vorerst eine Entwicklungsperspektive, kein feststehender Ersatz für das bestehende Verfahren. Die v6.1-Ergebnisse zeigen aber, weshalb ein solcher Ansatz nützlich sein könnte: Die Qualität einer Inferenzbereitstellung lässt sich nicht auf Tokens pro Sekunde reduzieren.
Die Lehre für Käufer: Den Stack vergleichen, nicht die Schlagzeile
MLPerf Inference v6.1 liefert deutliche Hinweise darauf, dass sich der Wettbewerb bei KI-Inferenz aus drei verbundenen Faktoren zusammensetzt: Leistungsfähigkeit der Beschleuniger, Fortschritt der Software und Integration des Gesamtsystems.
AMDs großer MI355X-Cluster unterstreicht die Bedeutung der Skalierung. NVIDIAs Vera-Rubin-Vorschau weist auf den nächsten Leistungsschritt hin, während Blackwell aktuelle Deployments bedient. Intels Arc Pro B70 erweitert das Hardware-Spektrum im Benchmark. Und die neuen RAG- sowie Agenten-Tests machen sichtbar, dass moderne KI-Anwendungen andere Leistungsanforderungen haben.
Am Anfang einer Beschaffungsentscheidung sollten daher immer Workload und Betriebsziel stehen: Modell, Kontextlänge, Parallelität, Latenz-SLO, Strombudget, Größe des Deployments und Kosten pro nutzbarem Ergebnis. Erst dann sollten Systeme bei vergleichbarer Skalierung und Verfügbarkeit gegenübergestellt werden. Das ist aussagekräftiger, als eine einzelne MLPerf-Schlagzeile zur universellen Antwort zu erklären.
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „MLPerf Inference v6.1: KI-Inferenz wird zum Systemvergleich“?
AMD erzielte mit einem Cluster aus 512 Instinct MI355X GPUs den höchsten aggregierten Token Durchsatz der Runde – ein Maßstab für die Leistungsfähigkeit großer Inferenzflotten, nicht automatisch für jedes einzelne Dep...
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
AMD erzielte mit einem Cluster aus 512 Instinct MI355X GPUs den höchsten aggregierten Token Durchsatz der Runde – ein Maßstab für die Leistungsfähigkeit großer Inferenzflotten, nicht automatisch für jedes einzelne Dep... NVIDIAs Vera Rubin NVL72 tritt erstmals als Vorschauplattform an; Blackwell und Blackwell Ultra bleiben für aktuelle, verfügbare Systeme zentral.
Was soll ich als nächstes in der Praxis tun?
Mit End to End RAG und Edge Agentic Inference testet MLPerf stärker mehrstufige KI Anwendungen statt nur isolierten Token Durchsatz.