Локальний ШІ вже обробляє 88,7% запитів: дослідження Стенфорду змінює правила гри для хмарних гігантів

Економіка штучного інтелекту може стояти на порозі кардинальних змін. Масштабне дослідження Стенфордського університету, опубліковане як препринт у листопаді 2025 року, показує, що невеликі мовні моделі, які працюють на звичайних ноутбуках та ПК, здатні якісно виконувати переважну більшість завдань, що раніше вимагали дорогих хмарних систем .

Дослідження, проведене групою під керівництвом Джона Саад-Фалькона, Аваніки Нараян та їхніх колег з лабораторії Hazy Research Стенфорду та Together AI, вводить новий показник — «Інтелект на ват» (Intelligence Per Watt, IPW). Він визначається як середня точність виконання завдання, поділена на середнє споживання енергії під час обчислення (інференції), і дозволяє уніфіковано порівнювати локальні та хмарні системи .

Що виявило дослідження Стенфорду: ключові цифри

Емпірична робота дослідження є масштабною: вона тестує понад 20 локальних мовних моделей на 8 різних прискорювачах (включно з Apple, AMD та NVIDIA) із використанням 1 мільйона реальних одноразових чат-запитів та завдань на логіку . Основні результати вражають:

• Локальні моделі можуть точно відповісти на 88,7% запитів: Моделі з 20 мільярдами параметрів або менше, що працюють на звичайному обладнанні, успішно обробляють переважну більшість одноразових запитів. Точність варіюється залежно від сфери — перевищує 90% для творчих завдань, але знижується приблизно до 68% для технічних .
• Показник IPW покращився у 5,3 раза за період з 2023 по 2025 рік: Це комбіноване зростання, зумовлене 3,1-кратним покращенням точності моделі на ват та 1,7-кратним приростом від вдосконалення апаратного забезпечення .
• Охоплення локальних запитів різко зросло: Частка запитів, які локальні моделі могли якісно обробити, зросла з 23,2% у 2023 році до 71,3% у 2025 .
• Локальні прискорювачі все ще мають потенціал: Дослідження виявило, що локальні прискорювачі досягають принаймні в 1,4 раза нижчого показника IPW порівняно з хмарними прискорювачами корпоративного рівня, які виконують ті ж самі моделі, що свідчить про значний простір для подальшої оптимізації .

Пояснення метрики «Інтелект на ват»

IPW є елегантно простим: він ділить точність, яку модель досягає в певному завданні, на енергію, яку вона споживає під час обчислення . Це контрастує з поширеною практикою оцінювати моделі ШІ ізольовано, ігноруючи енергетичні витрати та вимоги до обладнання.

Метрика фіксує ключове розуміння: найпотужніша модель не обов'язково є найефективнішою або найпрактичнішою. Невелика модель, що працює на ноутбуці, може забезпечити 95% точності гігантської хмарної моделі, споживаючи при цьому лише частку енергії .

Гібридна маршрутизація: скорочення витрат на 60%

Один із найбільш фінансово значущих висновків дослідження стосується того, що відбувається, коли ви не вибираєте між локальним і хмарним ШІ, а використовуєте обидва інтелектуально.

Оракульна маршрутизація — гіпотетична ідеальна система, яка направляє кожен запит найменшій здатній моделі, — теоретично могла б зменшити споживання енергії на 80,4%, обчислювальні потужності на 77,3%, а витрати на 73,8% порівняно з використанням лише хмари .

Практичний реалістичний маршрутизатор, протестований у суміжному дослідженні, досяг подібних результатів: він зменшив споживання енергії на 77,1%, обчислювальні потужності на 67,1%, а витрати на 60,2% у розподілі реального трафіку, зберігаючи при цьому порівнянну точність виконання завдань .

Це не футуристична можливість. Дослідження демонструє, що гібридні локально-хмарні архітектури вже є життєздатними і можуть кардинально знизити вартість обслуговування обчислень ШІ.

Що це означає для OpenAI, Anthropic та xAI

Стенфордське дослідження не робить прямих фінансових прогнозів для жодної компанії. Однак задокументована ним траєкторія має чіткі та структурні наслідки для компаній, які залежать від хмарних API .

Локальні моделі вже покривають приблизно 89% одноразових запитів зі значно нижчими витратами . Показник IPW покращився у 5,3 раза всього за два роки і продовжує прискорюватися . Інтелектуальна маршрутизація може скоротити витрати на хмарні обчислення на 60% або більше для запитів, які все ще надсилаються в хмару .

Якщо ця тенденція буде впроваджена в масштабі, клієнти зможуть замінити більшість своїх запитів до хмарних API на локальні обчислення з майже нульовою вартістю, залишаючи хмарні виклики лише для найважчих ~11% завдань, які локальні моделі поки що не можуть виконати .

Коментатори, які інтерпретують дослідження, зазначають, що майбутнє ШІ може характеризуватися «маленькими, дешевими та неприбутковими» моделями для провідних компаній ШІ . Економічний стимул зміщується в бік локальних відкритих альтернатив, які підривають ціноутворення хмарних API — динаміка, яка може змінити бізнес-моделі таких компаній, як OpenAI, Anthropic та xAI.

Ширша тенденція: ШІ стає дешевшим та швидшим

Це дослідження є одним із свідчень більшої тенденції. Звіт AI Index Report 2025 від Стенфордського інституту HAI показав, що вартість обчислень для системи рівня GPT-3.5 впала більш ніж у 280 разів за період з листопада 2022 по жовтень 2024 року . На рівні апаратного забезпечення витрати знижуються на 30% щорічно, тоді як енергоефективність покращується на 40% щороку .

Моделі з відкритою вагою також скорочують розрив із закритими моделями, зменшивши різницю в продуктивності з 8% до 1,7% на деяких тестах лише за один рік .

Застереження: обмеження дослідження

Хоча результати вражають, важливо зазначити сферу дослідження. Воно тестує лише одноразові запити — прості відповіді в чаті та самодостатні завдання на логіку. Воно не оцінює локальні моделі в багатоходових розмовах, завданнях з довгим контекстом або складних агентних робочих процесах — сферах, де хмарні моделі зберігають значну перевагу .

Протестовані локальні моделі (≤20 млрд параметрів) також не можуть зрівнятися з найкращими хмарними моделями у вирішенні найскладніших проблем. Автори дослідження чітко заявляють про це: точність значно варіюється залежно від сфери, і показник 88,7% маскує слабшу продуктивність у технічних та наукових галузях .

Підсумок

Стенфордське дослідження «Інтелект на ват» надає вагомі емпіричні докази того, що локальний ШІ перетнув критичний поріг. Для більшості повсякденних запитів — творчих завдань, управління, продажів, розваг — невеликої моделі на ноутбуці вже достатньо . Швидкі темпи вдосконалення свідчать про те, що це охоплення лише розширюватиметься.

Для бізнесу висновок очевидний: найбільш економічно ефективною інфраструктурою ШІ стає гібридна, яка направляє прості запити локальним моделям і резервує хмарні потужності для найскладніших завдань. Епоха відправлення кожного запиту до масивної хмарної моделі за плату за токен, можливо, добігає кінця.