Lokalna AI już obsługuje prawie 89% rzeczywistych zapytań: przełomowe badanie „Inteligencji na Wat” ze Stanford

• Lokalne modele poprawnie odpowiadają na 88,7% zapytań: Modele z parametrami do 20 miliardów, działające na konsumenckim sprzęcie, z powodzeniem radzą sobie z przytłaczającą większością pojedynczych próśb. Dokładność różni się w zależności od dziedziny — przekracza 90% w przypadku zadań kreatywnych, ale spada do około 68% w dziedzinach technicznych .
• Wskaźnik IPW poprawił się 5,3-krotnie między 2023 a 2025 rokiem: To złożony wzrost, napędzany 3,1-krotną poprawą dokładności modelu na wat oraz 1,7-krotnym zyskiem z postępu w sprzęcie .
• Zasięg lokalnych zapytań gwałtownie wzrósł: Udział zapytań, które lokalne modele mogły kompetentnie obsłużyć, skoczył z zaledwie 23,2% w 2023 roku do 71,3% w 2025 roku .
• Lokalne akceleratory wciąż mają rezerwy: Badanie wykazało, że lokalne akceleratory osiągają co najmniej 1,4 razy niższy IPW niż akceleratory klasy korporacyjnej w chmurze działające na tych samych modelach, co wskazuje na znaczną przestrzeń do dalszej optymalizacji .

Wyjaśnienie metryki „Inteligencja na Wat” (IPW)

IPW jest elegancko prosty: dzieli dokładność, jaką model osiąga w danym zadaniu, przez energię, którą zużywa podczas inferencji . Kontrastuje to z powszechną praktyką oceniania modeli AI w izolacji, z pominięciem kosztów energii i wymagań sprzętowych.

Metryka ta oddaje kluczową kwestię: najbardziej zaawansowany model niekoniecznie jest najwydajniejszy czy najbardziej praktyczny. Mały model działający na laptopie może dostarczyć 95% dokładności gigantycznego modelu chmurowego, zużywając przy tym ułamek energii .

Hybrydowe routowanie: Redukcja kosztów o 60%

Jedno z najbardziej znaczących finansowo odkryć badania dotyczy sytuacji, w której nie wybiera się między rozwiązaniami lokalnymi a chmurą — ale używa się obu inteligentnie.

Routing oracle, czyli hipotetyczny, idealny system przypisujący każde zapytanie do najmniejszego zdolnego modelu, mógłby teoretycznie zredukować zużycie energii o 80,4%, zapotrzebowanie na moc obliczeniową o 77,3% i koszty o 73,8% w porównaniu z wdrożeniem wyłącznie w chmurze .

Praktyczny, realistyczny router przetestowany w powiązanych badaniach osiągnął podobne wyniki: zmniejszył zużycie energii o 77,1%, zapotrzebowanie na moc obliczeniową o 67,1% i koszty o 60,2% w rzeczywistych rozkładach ruchu, zachowując przy tym porównywalną dokładność zadań .

To nie jest futurystyczna możliwość. Badanie dowodzi, że hybrydowe architektury lokalno-chmurowe są już realne i mogą radykalnie obniżyć koszty obsługi inferencji AI.

Co to oznacza dla OpenAI, Anthropic i xAI

Badanie Stanforda nie zawiera jednoznacznych prognoz finansowych dla żadnej z firm. Niemniej jednak udokumentowana w nim trajektoria ma wyraźne i strukturalne implikacje dla firm uzależnionych od API w chmurze .

Lokalne modele już obsługują około 89% pojedynczych zapytań przy dramatycznie niższych kosztach . Wskaźnik IPW poprawił się 5,3-krotnie w ciągu zaledwie dwóch lat i nadal przyspiesza . Inteligentne routowanie może obniżyć koszty inferencji w chmurze o 60% lub więcej w przypadku pozostałych zapytań wysyłanych do chmury .

Jeśli ten trend zacznie być stosowany na masową skalę, klienci będą mogli zastąpić większość swoich zapytań do API w chmurze lokalną inferencją o niemal zerowych kosztach, rezerwując wywołania chmurowe tylko dla najtrudniejszych ~11% zadań, z którymi lokalne modele nie są jeszcze w stanie sobie poradzić .

Komentarze interpretujące badanie zauważają, że przyszłość AI może należeć do „małych, tanich i nierentownych” modeli dla firm z pierwszej linii . Motywacja ekonomiczna przesuwa się w stronę lokalnych, otwartych alternatyw, które są w stanie podciąć ceny API w chmurze — jest to dynamika, która może przekształcić modele biznesowe takich firm jak OpenAI, Anthropic i xAI.

Szerszy trend: AI staje się tańsza i szybsza

To badanie jest jednym z elementów większego trendu. Raport AI Index 2025 z Stanford HAI wykazał, że koszt inferencji dla systemu działającego na poziomie GPT-3.5 spadł ponad 280-krotnie między listopadem 2022 a październikiem 2024 roku . Na poziomie sprzętu koszty spadają o 30% rocznie, podczas gdy efektywność energetyczna poprawia się o 40% każdego roku .

Modele z otwartą wagą (open-weight) również zmniejszają dystans do modeli zamkniętych, redukując różnicę w wydajności z 8% do zaledwie 1,7% w niektórych benchmarkach w ciągu jednego roku .

Zastrzeżenie: Badanie ma ograniczenia

Chociaż wyniki są imponujące, należy pamiętać o zakresie badania. Testuje ono wyłącznie zapytania jednorazowe (single-turn) — proste odpowiedzi na czacie i samodzielne zadania logiczne. Nie ocenia ono lokalnych modeli pod kątem rozmów wieloetapowych (multi-turn), rozumowania w długim kontekście czy złożonych, zautomatyzowanych procesów (agentic workflows) — we wszystkich tych obszarach modele chmurowe wciąż mają znaczną przewagę .

Testowane lokalne modele (≤20 mld parametrów) nie mogą również dorównać najlepszym modelom chmurowym w najtrudniejszych problemach. Autorzy badania są w tej kwestii wyraźni: dokładność znacznie różni się w zależności od dziedziny, a wynik 88,7% maskuje słabszą wydajność w dziedzinach technicznych i naukowych .

Podsumowanie

Badanie nad „Inteligencją na Wat” ze Stanforda dostarcza mocnych dowodów empirycznych na to, że lokalna AI przekroczyła krytyczny próg. W przypadku większości codziennych zapytań — zadań kreatywnych, zarządzania, sprzedaży, rozrywki — mały model na laptopie jest już w zupełności wystarczający . Szybkie tempo ulepszeń sugeruje, że ten zasięg będzie się tylko zwiększać.

Dla firm implikacja jest jasna: najbardziej opłacalna infrastruktura AI jest coraz częściej hybrydowa, kierująca proste zapytania do modeli lokalnych i rezerwująca moc chmury dla najtrudniejszych zadań. Era wysyłania każdego zapytania do masywnego modelu chmurowego za opłatą za token może dobiegać końca.