Francuski startup Kog wyciska z GPU 30x więcej – 3000 tokenów/s bez nowego krzemu

Branża AI wydała miliardy na szybsze chipy. Paryski startup Kog obstawia, że rozwiązywano zły problem – a zapowiedź techniczna z maja 2026 roku sugeruje, że ten zakład może być trafiony.

Kog (Kog AI) to francuski startup infrastruktury AI założony w 2023 roku przez Gaëla Delalleau. Jego flagowym produktem jest Kog Inference Engine (KIE) – silnik inferencyjny działający wyłącznie w oprogramowaniu, który radykalnie przyspiesza inferencję LLM na standardowych GPU w centrach danych, bez potrzeby stosowania niestandardowych chipów . Firma wyszła z ukrycia w maju 2025 roku, a publiczną wersję demonstracyjną udostępniła 28 maja 2026 .

Oprogramowanie kontra krzem: zakład Kog przeciwko dedykowanemu sprzętowi

Cerebras buduje chipy waflowe na zamówienie. Groq i SambaNova podążają podobną, sprzętową ścieżką. Kog stawia na odwrotne podejście: ogromny potencjał wydajnościowy istniejących GPU jest marnowany przez nieefektywne oprogramowanie, a głęboka optymalizacja kodu może dorównać lub przewyższyć prędkości dedykowanego sprzętu bez produkcji nowych chipów .

Kluczową innowacją jest monojądro – jeden, trwały program rezydujący na GPU, który wykonuje cały proces dekodowania LLM (prefill, dekodowanie, próbkowanie LM-head) w jednym przebiegu, eliminując narzut na uruchamianie jąder dla każdego tokena, który obciąża standardowe stosy . Standardowe frameworki inferencyjne, takie jak vLLM, SGLang i TensorRT-LLM, uruchamiają jedno jądro GPU na token, każde z narzutem około 4,5 μs plus czas restartu HBM . Silnik Kog omija standardowe biblioteki komunikacyjne i eliminuje synchronizacje gridu, które – jak zmierzono – pochłaniały 35% czasu generowania każdego tokena .

Twierdzenie o „30-krotnym przyspieszeniu” opiera się na porównaniu z typową prędkością dekodowania 100–300 tok/s dla modeli 2B–8B na wysokiej klasy GPU, podczas gdy Kog osiąga 3000 tok/s .

Wyniki demonstracji technicznej i wyraźne ograniczenia

Wyniki:

• Ponad 3000 tokenów wyjściowych na sekundę na żądanie na pojedynczym węźle 8× AMD MI300X z modelem Laneformer 2B (FP16, rozmiar wsadu 1, bez spekulatywnego dekodowania)
• 2100 tokenów wyjściowych/s na żądanie na 8× NVIDIA H200 w tych samych warunkach
• Opóźnienie dla pojedynczego użytkownika na tyle niskie, że nadaje się do interaktywnego użytku w czasie rzeczywistym – demo uruchomiono na playground.kog.ai
• Model Laneformer 2B uzyskał 45,1% HumanEval+ i 51,6% MBPP+ w dekodowaniu zachłannym

Ograniczenia:

• Demonstracja działała tylko na modelu o parametrach 2,3B (Laneformer 2B). Nie pokazano większych modeli
• Była to konfiguracja jednożądaniowa, jednoużytkownicza – nie obsługiwała wsadowego, wieloużytkowniczego serwisu produkcyjnego i nie pokazywała przepustowości przy jednoczesnym obciążeniu
• Obsługiwane były tylko dwa typy GPU: AMD MI300X i NVIDIA H200
• Firma zatrudnia zaledwie 11 osób, co przy tak ambitnym projekcie jest bardzo małą liczbą

Docelowe zastosowania i wczesne wyniki biznesowe

Kog celuje w trzy główne obszary:

• Agentowe przepływy pracy AI – firma argumentuje, że GPU są słabo dostosowane do iteracyjnych wymagań agentów AI o niskim opóźnieniu, a jej silnik to naprawia
• Inferencja LLM w czasie rzeczywistym – asystenci kodowania, chatboty i aplikacje, gdzie opóźnienie poniżej 100 ms na token ma kluczowe znaczenie
• Samodzielnie hostowana inferencja w przedsiębiorstwie – firmy, które już posiadają GPU w centrach danych i chcą uniknąć zakupu dedykowanego sprzętu do inferencji

Na froncie biznesowym Kog odnotował ponad 200 konkretnych leadów biznesowych według stanu na sierpień 2026 roku, co podał CEO Delalleau . Demonstracja techniczna trafiła na pierwszą stronę Hacker News w maju 2026 roku . Firma pozyskała rundę seed współprowadzoną przez Varsity VC, którego partner Kamel Zeroual był współzałożycielem Delalleau w jego pierwszym startupie, Stribe .

Dlaczego fizyk ciała stałego i haker prowadzi tę firmę

CEO Gaël Delalleau wnosi do infrastruktury AI nietypowe doświadczenie: fizykę ciała stałego i ofensywne cyberbezpieczeństwo .

• Fizyka ciała stałego nauczyła go myślenia od podstaw o tym, jak fizyczny sprzęt zachowuje się na niskim poziomie – elektrony, przepustowość pamięci, ograniczenia na poziomie tranzystorów. Jego zespół traktuje optymalizację GPU jako problem fizyczny, a nie inżynierii oprogramowania
• Ofensywne cyberbezpieczeństwo dało mu nastawienie wrogiego inżyniera odwrotnego. Silnik Kog bada GPU na poziomie assembly i binarnym, znajdując ukrytą rezerwę, której nie ujawniają standardowe sterowniki i biblioteki – klasyczne „myślenie atakującego” zastosowane do wydajności sprzętu
• Delalleau nie jest tradycyjnym badaczem uczenia maszynowego; jego pierwszy startup (Stribe, uczestnik TechCrunch50 w 2009 roku) nie był związany z AI. Określa się jako myśliciel od podstaw, który projektuje algorytmy od strony sprzętu

Wyzwania skalowania: wielkość zespołu, obsługa chipów i skala modeli

Przed Kog stoją trzy istotne wyzwania związane ze skalowaniem:

• Wielkość zespołu: Mając zaledwie 11 pracowników, przenoszenie głęboko zoptymalizowanego monojądra na nowe architektury GPU jest pracochłonne
• Obsługa nowych chipów: Silnik obecnie obsługuje tylko AMD MI300X i NVIDIA H200. Każdy nowy GPU wymaga ręcznej inżynierii odwrotnej na poziomie assembly. CEO Delalleau przyznaje, że to wąskie gardło, choć oczekuje, że nowsze architektury GPU z wyższą przepustowością pamięci będą łatwiejszym celem
• Skala modeli: Przejście od modeli o parametrach 2B do pełnowymiarowych LLM (70B+) stanowi, jak to ujął Delalleau, „ogromny skok.” Techniki działające dla małego modelu mogą nie być łatwo rozszerzalne na znacznie większe zapotrzebowanie na pamięć i moc obliczeniową

Kamień milowy decydujący o sukcesie: duże modele językowe

Następnym krytycznym kamieniem milowym dla Kog jest udowodnienie, że ich podejście działa na dużych modelach językowych (70B+ parametrów). CEO Delalleau oświadczył, że firma koncentruje się teraz na skalowaniu swoich technik do pełnowymiarowych LLM. Pewność siebie wynika z nowszych architektur GPU o znacznie wyższej przepustowości pamięci – zasobu, który według Kog pozostaje fundamentalnie niewykorzystany przez standardowe stosy oprogramowania . Firma nie ogłosiła konkretnej daty, ale demonstracja ta jest powszechnie postrzegana jako decydujący test dla całej tezy.