Уявіть собі не просто чат-бота, а розумного помічника-розробника, який самостійно пише, перевіряє та налагоджує код. Саме такі складні ланцюжки дій і відтворює бенчмарк. Він використовує реальні траєкторії кодінг-агентів, взяті з публічних репозиторіїв із понад 12 мовами програмування. Ці траєкторії включають послідовні виклики великих мовних моделей (LLM), виклики інструментів (симульовані з реалістичними затримками центрального процесора) та постійне зростання контекстного вікна.

Головне питання, на яке відповідає AgentPerf: скільки таких агентів система може обслуговувати одночасно із дотриманням чітких вимог до швидкості генерації токенів та часу до першого токена (TTFT). Усі результати для об'єктивності нормалізуються на один прискорювач та на один мегават спожитої енергії.

Результати Nvidia: цифри, що вражають

У першому раунді AgentPerf тестувалася робота з моделлю DeepSeek V4 Pro — великою сумішшю експертів (MoE), яка є типовим представником передових моделей для агентного ШІ. І ось ключові досягнення Nvidia Blackwell Ultra:

• Абсолютна першість. GB300 NVL72 показала найвищу продуктивність серед усіх протестованих платформ на цьому складному навантаженні.
• 20-кратна перевага в ефективності. Порівняно з попередньою системою на базі Nvidia HGX H200 (архітектура Hopper), нова платформа обробляє до 20 разів більше одночасних агентів на мегават електроенергії. Це досягається при рівнях обслуговування у 20 та 60 токенів на секунду.
• Рекордна кількість агентів. Згідно з повідомленням Artificial Analysis у соцмережі X, стійкова дезагрегована конфігурація GB300 змогла підтримувати 61 340 одночасних агентів при найм'якшому рівні обслуговування (20 токенів/с, час до першого токена 10 с). Для порівняння: попередник H200 у тій же конфігурації забезпечував лише 2 594 агенти.

Це не просто "швидше". Це означає, що для обслуговування однакової кількості AI-агентів новій платформі потрібно в 20 разів менше електроенергії, що є критичним фактором для економіки дата-центрів та їхнього впливу на довкілля.

Як це вписується в глобальну стратегію Nvidia

Тріумф у AgentPerf не є випадковістю. Це частина масштабної та багаторівневої кампанії Nvidia із закріплення Blackwell Ultra як безальтернативної платформи для ери агентного ШІ.

1. Історія про повну оптимізацію. 20-кратний стрибок продуктивності — це не просто заслуга нового "заліза", а результат глибокої співпраці апаратного та програмного забезпечення. Nvidia підкреслює роль таких технологій:

• NVLink, що об'єднує 72 графічні процесори в єдину мережеву фабрику.
• CUDA-ядра, здатні перекривати комунікацію та обчислення для моделей MoE, мінімізуючи простої.
• TensorRT LLM зі спеціалізованими оптимізаціями (WideEP/DeepEP, DeepGEMM, fused MoE), які підтримують високу ефективність зі зростанням кількості одночасних агентських сесій.

2. Повне домінування в бенчмарках. AgentPerf став логічним доповненням до низки попередніх перемог. Раніше Blackwell Ultra встановив рекорди в MLPerf Inference v5.1 (в 1,4 раза більша продуктивність на DeepSeek-R1 порівняно з Blackwell) та здобув перемогу в усіх семи тестах MLPerf Training v5.1, включно з найскладнішим — попереднім тренуванням Llama 3.1 405B, яке було виконане за рекордні 10 хвилин на 5 120 графічних процесорах Blackwell . Nvidia методично закриває всі можлимі категорії — від тренування до інференсу, а тепер і до агентних навантажень.

3. Докази з реального світу. Щоб розвіяти скепсис щодо "синтетичних" бенчмарків, Nvidia наводить приклади партнерів, які вже використовують Blackwell для агентних робочих навантажень у продакшені:

• Together AI забезпечує роботу агентного кодингу для платформи Cursor.
• DeepInfra підтримує "AI-робочу силу" сервісу Pam.ai.

4. Погляд у майбутнє. У своєму блозі Nvidia вже анонсує наступне покоління — архітектуру Vera Rubin, яка "вже запущена у виробництво" і стане наступним кроком для нарощування потужностей агентного ШІ . Технічні документи також натякають на майбутні покращення, зокрема на 50 петафлопсів обчислювальної потужності у форматі NVFP4 та прискорення викликів інструментів LLM .

Схоже, Nvidia не просто готується до ери агентного ШІ — вона створює для неї фундамент, який поки що не має рівних.

Джерела: Nvidia Blog про AgentPerf , пост Artificial Analysis у X , Nvidia Blog про MLPerf Inference v5.1 , Nvidia Blog про MLPerf Training v5.1 .

Уявіть собі не просто чат-бота, а розумного помічника-розробника, який самостійно пише, перевіряє та налагоджує код. Саме такі складні ланцюжки дій і відтворює бенчмарк. Він використовує реальні траєкторії кодінг-агентів, взяті з публічних репозиторіїв із понад 12 мовами програмування. Ці траєкторії включають послідовні виклики великих мовних моделей (LLM), виклики інструментів (симульовані з реалістичними затримками центрального процесора) та постійне зростання контекстного вікна.

Головне питання, на яке відповідає AgentPerf: скільки таких агентів система може обслуговувати одночасно із дотриманням чітких вимог до швидкості генерації токенів та часу до першого токена (TTFT). Усі результати для об'єктивності нормалізуються на один прискорювач та на один мегават спожитої енергії.

Результати Nvidia: цифри, що вражають

У першому раунді AgentPerf тестувалася робота з моделлю DeepSeek V4 Pro — великою сумішшю експертів (MoE), яка є типовим представником передових моделей для агентного ШІ. І ось ключові досягнення Nvidia Blackwell Ultra:

• Абсолютна першість. GB300 NVL72 показала найвищу продуктивність серед усіх протестованих платформ на цьому складному навантаженні.
• 20-кратна перевага в ефективності. Порівняно з попередньою системою на базі Nvidia HGX H200 (архітектура Hopper), нова платформа обробляє до 20 разів більше одночасних агентів на мегават електроенергії. Це досягається при рівнях обслуговування у 20 та 60 токенів на секунду.
• Рекордна кількість агентів. Згідно з повідомленням Artificial Analysis у соцмережі X, стійкова дезагрегована конфігурація GB300 змогла підтримувати 61 340 одночасних агентів при найм'якшому рівні обслуговування (20 токенів/с, час до першого токена 10 с). Для порівняння: попередник H200 у тій же конфігурації забезпечував лише 2 594 агенти.

Це не просто "швидше". Це означає, що для обслуговування однакової кількості AI-агентів новій платформі потрібно в 20 разів менше електроенергії, що є критичним фактором для економіки дата-центрів та їхнього впливу на довкілля.

Як це вписується в глобальну стратегію Nvidia

Тріумф у AgentPerf не є випадковістю. Це частина масштабної та багаторівневої кампанії Nvidia із закріплення Blackwell Ultra як безальтернативної платформи для ери агентного ШІ.

1. Історія про повну оптимізацію. 20-кратний стрибок продуктивності — це не просто заслуга нового "заліза", а результат глибокої співпраці апаратного та програмного забезпечення. Nvidia підкреслює роль таких технологій:

• NVLink, що об'єднує 72 графічні процесори в єдину мережеву фабрику.
• CUDA-ядра, здатні перекривати комунікацію та обчислення для моделей MoE, мінімізуючи простої.
• TensorRT LLM зі спеціалізованими оптимізаціями (WideEP/DeepEP, DeepGEMM, fused MoE), які підтримують високу ефективність зі зростанням кількості одночасних агентських сесій.

2. Повне домінування в бенчмарках. AgentPerf став логічним доповненням до низки попередніх перемог. Раніше Blackwell Ultra встановив рекорди в MLPerf Inference v5.1 (в 1,4 раза більша продуктивність на DeepSeek-R1 порівняно з Blackwell) та здобув перемогу в усіх семи тестах MLPerf Training v5.1, включно з найскладнішим — попереднім тренуванням Llama 3.1 405B, яке було виконане за рекордні 10 хвилин на 5 120 графічних процесорах Blackwell . Nvidia методично закриває всі можлимі категорії — від тренування до інференсу, а тепер і до агентних навантажень.

3. Докази з реального світу. Щоб розвіяти скепсис щодо "синтетичних" бенчмарків, Nvidia наводить приклади партнерів, які вже використовують Blackwell для агентних робочих навантажень у продакшені:

• Together AI забезпечує роботу агентного кодингу для платформи Cursor.
• DeepInfra підтримує "AI-робочу силу" сервісу Pam.ai.

4. Погляд у майбутнє. У своєму блозі Nvidia вже анонсує наступне покоління — архітектуру Vera Rubin, яка "вже запущена у виробництво" і стане наступним кроком для нарощування потужностей агентного ШІ . Технічні документи також натякають на майбутні покращення, зокрема на 50 петафлопсів обчислювальної потужності у форматі NVFP4 та прискорення викликів інструментів LLM .

Схоже, Nvidia не просто готується до ери агентного ШІ — вона створює для неї фундамент, який поки що не має рівних.

Джерела: Nvidia Blog про AgentPerf , пост Artificial Analysis у X , Nvidia Blog про MLPerf Inference v5.1 , Nvidia Blog про MLPerf Training v5.1 .