Co studie Stanfordu zjistila: Klíčová čísla

Empirická práce studie je rozsáhlá: testuje přes 20 lokálních jazykových modelů napříč 8 různými akcelerátory (včetně těch od Applu, AMD a Nvidie) na 1 milionu reálných jednokolových chatovacích a logických dotazů . Hlavní výsledky jsou ohromující:

• Lokální modely dokáží přesně zodpovědět 88,7 % dotazů: Modely s 20 miliardami parametrů nebo méně, běžící na spotřebitelském hardwaru, úspěšně zvládnou drtivou většinu jednokolových požadavků. Přesnost se liší podle domény – u kreativních úkolů přesahuje 90 %, ale u technických oblastí klesá na přibližně 68 % .
• IPW se mezi lety 2023 a 2025 zlepšila 5,3×: Jde o kombinovaný zisk, tažený 3,1násobným zlepšením přesnosti modelu na watt a 1,7násobným ziskem z pokroku hardwaru .
• Pokrytí lokálních dotazů raketově vzrostlo: Podíl dotazů, které lokální modely dokázaly kompetentně zpracovat, vzrostl z pouhých 23,2 % v roce 2023 na 71,3 % v roce 2025 .
• Lokální akcelerátory mají stále rezervy: Studie zjistila, že lokální akcelerátory dosahují nejméně 1,4× nižší IPW než podnikové cloudové akcelerátory běžící na stejných modelech, což ukazuje na značný prostor pro další optimalizaci .

Vysvětlení metriky „Inteligence na watt“ (IPW)

IPW je elegantně jednoduchá: dělí přesnost, které model dosahuje na daném úkolu, výkonem, který spotřebuje během inference . To je v kontrastu s běžnou praxí hodnocení AI modelů izolovaně, kdy se ignorují energetické náklady a硬warové požadavky.

Metrika zachycuje klíčový postřeh: nejschopnější model není nutně ten nejefektivnější nebo nejpraktičtější. Malý model běžící na notebooku může poskytnout 95 % přesnosti obřího cloudového modelu, přitom spotřebuje zlomek energie .

Hybridní směrování: Snížení nákladů o 60 %

Jeden z finančně nejvýznamnějších nálezů studie se týká toho, co se stane, když si nevybíráte mezi lokálním a cloudovým řešením – ale použijete obojí inteligentně.

„Oracle routing“, hypotetický dokonalý systém, který přiřadí každý dotaz nejmenšímu schopnému modelu, by mohl teoreticky snížit spotřebu energie o 80,4 %, výpočetní výkon o 77,3 % a náklady o 73,8 % ve srovnání s čistě cloudovým nasazením .

Praktický, realistický směrovač testovaný v souvisejícím výzkumu dosáhl podobných výsledků: snížil spotřebu energie o 77,1 %, výpočetní výkon o 67,1 % a náklady o 60,2 % při reálném rozložení provozu, a to vše při zachování srovnatelné přesnosti úloh .

To není futuristická možnost. Výzkum dokazuje, že hybridní lokálně-cloudové architektury jsou již nyní životaschopné a mohou dramaticky snížit náklady na poskytování AI inference.

Co to znamená pro OpenAI, Anthropic a xAI

Studie Stanfordu neobsahuje explicitní finanční předpovědi pro žádnou společnost. Trajektorie, kterou dokumentuje, má však jasné a strukturální důsledky pro společnosti závislé na cloudových API .

Lokální modely již pokrývají přibližně 89 % jednokolových dotazů za dramaticky nižších nákladů . IPW se zlepšila 5,3× za pouhé dva roky a tempo zrychluje . Chytré směrování by mohlo snížit náklady na cloudovou inferenci o 60 % nebo více u zbývajících dotazů odesílaných do cloudu .

Pokud se tento trend začne ve velkém uplatňovat v praxi, zákazníci by mohli nahradit většinu svých dotazů na cloudová API téměř bezplatnou lokální inferencí a cloudová volání by si vyhradili pouze pro nejtěžších ~11 % úkolů, které lokální modely zatím nezvládnou .

Komentáře interpretující studii poznamenaly, že budoucnost AI může být ve znamení „malých, levných a nerentabilních“ modelů pro společnosti na hraně možností . Ekonomická motivace se přesouvá k lokálním alternativám s otevřenou vahou, které podrážejí ceny cloudových API – dynamika, která by mohla přetvořit obchodní modely společností jako OpenAI, Anthropic a xAI.

Širší trend: AI je čím dál levnější a rychlejší

Tato studie je jedním z mnoha bodů v širším trendu. Zpráva AI Index 2025 ze Stanford HAI zjistila, že náklady na inferenci systému na úrovni GPT-3.5 klesly mezi listopadem 2022 a říjnem 2024 více než 280krát . Na硬warové úrovni náklady klesají ročně o 30 %, zatímco energetická účinnost se každoročně zlepšuje o 40 % .

Modely s otevřenou vahou rovněž stahují náskok uzavřených modelů; na některých benchmarkech se rozdíl ve výkonu zmenšil z 8 % na pouhých 1,7 % během jediného roku .

Upozornění: Studie má své limity

Ačkoli jsou výsledky působivé, je důležité si uvědomit rozsah studie. Testuje pouze jednokolové dotazy – jednoduché chatovací odpovědi a samostatné logické úlohy. Nehodnotí lokální modely na vícekolových konverzacích, logice s dlouhým kontextem nebo složitých agentních pracovních postupech, ve všech oblastech, kde si cloudové modely udržují výraznou výhodu .

Testované lokální modely (≤20 mld. parametrů) se také nemohou rovnat těm nejlepším cloudovým modelům v nejtěžších problémech. Autoři studie to jasně uvádějí: přesnost se výrazně liší podle domény a číslo 88,7 % maskuje slabší výkon v technických a vědeckých oblastech .

Závěr

Studie „Inteligence na watt“ ze Stanfordu poskytuje silný empirický důkaz, že lokální AI překročila kritickou hranici. Pro většinu každodenních dotazů – kreativní úkoly, řízení, prodej, zábava – je malý model na notebooku již zcela dostačující . Rychlé tempo zlepšování naznačuje, že se toto pokrytí bude jen rozšiřovat.

Pro firmy je závěr jasný: nákladově nejefektivnější AI infrastrukturou je stále častěji hybridní řešení, které směruje jednoduché dotazy na lokální modely a cloudovou kapacitu si vyhrazuje pro ty nejtěžší úkoly. Éra posílání každého dotazu masivnímu cloudovému modelu za poplatek za token se možná chýlí ke konci.

Co studie Stanfordu zjistila: Klíčová čísla

Empirická práce studie je rozsáhlá: testuje přes 20 lokálních jazykových modelů napříč 8 různými akcelerátory (včetně těch od Applu, AMD a Nvidie) na 1 milionu reálných jednokolových chatovacích a logických dotazů . Hlavní výsledky jsou ohromující:

• Lokální modely dokáží přesně zodpovědět 88,7 % dotazů: Modely s 20 miliardami parametrů nebo méně, běžící na spotřebitelském hardwaru, úspěšně zvládnou drtivou většinu jednokolových požadavků. Přesnost se liší podle domény – u kreativních úkolů přesahuje 90 %, ale u technických oblastí klesá na přibližně 68 % .
• IPW se mezi lety 2023 a 2025 zlepšila 5,3×: Jde o kombinovaný zisk, tažený 3,1násobným zlepšením přesnosti modelu na watt a 1,7násobným ziskem z pokroku hardwaru .
• Pokrytí lokálních dotazů raketově vzrostlo: Podíl dotazů, které lokální modely dokázaly kompetentně zpracovat, vzrostl z pouhých 23,2 % v roce 2023 na 71,3 % v roce 2025 .
• Lokální akcelerátory mají stále rezervy: Studie zjistila, že lokální akcelerátory dosahují nejméně 1,4× nižší IPW než podnikové cloudové akcelerátory běžící na stejných modelech, což ukazuje na značný prostor pro další optimalizaci .

Vysvětlení metriky „Inteligence na watt“ (IPW)

IPW je elegantně jednoduchá: dělí přesnost, které model dosahuje na daném úkolu, výkonem, který spotřebuje během inference . To je v kontrastu s běžnou praxí hodnocení AI modelů izolovaně, kdy se ignorují energetické náklady a硬warové požadavky.

Metrika zachycuje klíčový postřeh: nejschopnější model není nutně ten nejefektivnější nebo nejpraktičtější. Malý model běžící na notebooku může poskytnout 95 % přesnosti obřího cloudového modelu, přitom spotřebuje zlomek energie .

Hybridní směrování: Snížení nákladů o 60 %

Jeden z finančně nejvýznamnějších nálezů studie se týká toho, co se stane, když si nevybíráte mezi lokálním a cloudovým řešením – ale použijete obojí inteligentně.

„Oracle routing“, hypotetický dokonalý systém, který přiřadí každý dotaz nejmenšímu schopnému modelu, by mohl teoreticky snížit spotřebu energie o 80,4 %, výpočetní výkon o 77,3 % a náklady o 73,8 % ve srovnání s čistě cloudovým nasazením .

Praktický, realistický směrovač testovaný v souvisejícím výzkumu dosáhl podobných výsledků: snížil spotřebu energie o 77,1 %, výpočetní výkon o 67,1 % a náklady o 60,2 % při reálném rozložení provozu, a to vše při zachování srovnatelné přesnosti úloh .

To není futuristická možnost. Výzkum dokazuje, že hybridní lokálně-cloudové architektury jsou již nyní životaschopné a mohou dramaticky snížit náklady na poskytování AI inference.

Co to znamená pro OpenAI, Anthropic a xAI

Studie Stanfordu neobsahuje explicitní finanční předpovědi pro žádnou společnost. Trajektorie, kterou dokumentuje, má však jasné a strukturální důsledky pro společnosti závislé na cloudových API .

Lokální modely již pokrývají přibližně 89 % jednokolových dotazů za dramaticky nižších nákladů . IPW se zlepšila 5,3× za pouhé dva roky a tempo zrychluje . Chytré směrování by mohlo snížit náklady na cloudovou inferenci o 60 % nebo více u zbývajících dotazů odesílaných do cloudu .

Pokud se tento trend začne ve velkém uplatňovat v praxi, zákazníci by mohli nahradit většinu svých dotazů na cloudová API téměř bezplatnou lokální inferencí a cloudová volání by si vyhradili pouze pro nejtěžších ~11 % úkolů, které lokální modely zatím nezvládnou .

Komentáře interpretující studii poznamenaly, že budoucnost AI může být ve znamení „malých, levných a nerentabilních“ modelů pro společnosti na hraně možností . Ekonomická motivace se přesouvá k lokálním alternativám s otevřenou vahou, které podrážejí ceny cloudových API – dynamika, která by mohla přetvořit obchodní modely společností jako OpenAI, Anthropic a xAI.

Širší trend: AI je čím dál levnější a rychlejší

Tato studie je jedním z mnoha bodů v širším trendu. Zpráva AI Index 2025 ze Stanford HAI zjistila, že náklady na inferenci systému na úrovni GPT-3.5 klesly mezi listopadem 2022 a říjnem 2024 více než 280krát . Na硬warové úrovni náklady klesají ročně o 30 %, zatímco energetická účinnost se každoročně zlepšuje o 40 % .

Modely s otevřenou vahou rovněž stahují náskok uzavřených modelů; na některých benchmarkech se rozdíl ve výkonu zmenšil z 8 % na pouhých 1,7 % během jediného roku .

Upozornění: Studie má své limity

Ačkoli jsou výsledky působivé, je důležité si uvědomit rozsah studie. Testuje pouze jednokolové dotazy – jednoduché chatovací odpovědi a samostatné logické úlohy. Nehodnotí lokální modely na vícekolových konverzacích, logice s dlouhým kontextem nebo složitých agentních pracovních postupech, ve všech oblastech, kde si cloudové modely udržují výraznou výhodu .

Testované lokální modely (≤20 mld. parametrů) se také nemohou rovnat těm nejlepším cloudovým modelům v nejtěžších problémech. Autoři studie to jasně uvádějí: přesnost se výrazně liší podle domény a číslo 88,7 % maskuje slabší výkon v technických a vědeckých oblastech .

Závěr

Studie „Inteligence na watt“ ze Stanfordu poskytuje silný empirický důkaz, že lokální AI překročila kritickou hranici. Pro většinu každodenních dotazů – kreativní úkoly, řízení, prodej, zábava – je malý model na notebooku již zcela dostačující . Rychlé tempo zlepšování naznačuje, že se toto pokrytí bude jen rozšiřovat.

Pro firmy je závěr jasný: nákladově nejefektivnější AI infrastrukturou je stále častěji hybridní řešení, které směruje jednoduché dotazy na lokální modely a cloudovou kapacitu si vyhrazuje pro ty nejtěžší úkoly. Éra posílání každého dotazu masivnímu cloudovému modelu za poplatek za token se možná chýlí ke konci.