DeepSeek udostępnił 20 października 2026 r. DeepInfer — silnik wnioskowania, który, jak podaje firma, wykorzystuje w swoich usługach produkcyjnych. Razem z nim opublikował deepseek-recipe, komponent przetwarzający żądania i tokeny. Najważniejsze zastrzeżenie: publiczne wydanie pozwala na wnioskowanie offline, ale nie jest gotowym zamiennikiem hostowanego API DeepSeek.
3
4
33
Co robią DeepInfer i deepseek-recipe?
DeepInfer to framework do wnioskowania, czyli uruchamiania wytrenowanego modelu w celu generowania odpowiedzi. W pierwszej wersji obsługuje DeepSeek-V4.1-Flash i jest udostępniany na licencji Apache 2.0.
4
5
Wśród wymienionych funkcji są wnioskowanie rozproszone, zoptymalizowane kernele, dekodowanie spekulatywne, asynchroniczne planowanie zadań, wnioskowanie niezmienne względem wielkości batcha oraz generowanie ustrukturyzowanych odpowiedzi.
33
34 Ta ostatnia funkcja pozwala ograniczyć format odpowiedzi, na przykład do schematu JSON, wyrażenia regularnego lub gramatyki EBNF.
29
30
deepseek-recipe to komponent towarzyszący silnikowi: przekształca żądania w dane wejściowe modelu, a następnie zamienia jego wyniki z powrotem na odpowiedzi. Według doniesień obsługuje popularne formaty żądań API, ale samo to nie dowodzi pełnej zgodności z każdym elementem hostowanego API DeepSeek.
3
9
Jeden model i dwie rodziny akceleratorów
W chwili premiery DeepInfer obsługuje DeepSeek-V4.1-Flash oraz dwie rodziny akceleratorów: układy GPU NVIDIA SM100 i układy NPU Huawei Ascend 950.
3
5 Nie oznacza to automatycznie zgodności ze wszystkimi kartami NVIDIA ani innymi akceleratorami Huawei. Dostępne źródła nie potwierdzają obsługi poszczególnych wariantów tych układów.
Wydajność: obietnice to nie niezależny test
DeepSeek przedstawia DeepInfer jako wysokowydajny framework. Bloomberg ocenia, że udostępnienie oprogramowania może sprawić, iż firmom będzie łatwiej i taniej uruchamiać modele DeepSeek, między innymi dzięki efektywniejszemu wykorzystaniu mocy obliczeniowej.
33
45 To potencjalna korzyść, a nie gwarancja niższych kosztów, zużycia energii czy opóźnień w każdym wdrożeniu.
W doniesieniach pojawia się deklarowana przepustowość 155 bilionów tokenów dziennie na klaster. Dostępne relacje nie potwierdzają jej niezależnie ani nie dostarczają wystarczających szczegółów, by bezpośrednio porównać ten wynik z innymi systemami.
1
5 The Next Web również informuje, że deklaracje DeepSeek dotyczące szybkości nie zostały niezależnie przetestowane.
49
Dlaczego to jeszcze nie gotowa usługa online?
Publiczne wydanie DeepInfer zapewnia wnioskowanie offline. W opisach dokumentacji wdrożeniowej wskazano też, że pakiet nie zawiera kilku elementów potrzebnych do obsługi usługi online: zarządzania pamięcią podręczną KV, rozdzielenia przetwarzania promptu od generowania kolejnych tokenów (prefill/decode disaggregation) ani równoważenia obciążenia między replikami.
4
7
Zespoły, które chcą udostępnić model wielu użytkownikom w czasie rzeczywistym, muszą więc samodzielnie przygotować dodatkową infrastrukturę. DeepInfer będzie naturalniejszym wyborem dla organizacji mających doświadczenie w budowie systemów wnioskowania niż dla firm szukających gotowej usługi hostingowej. To, czy samodzielne uruchomienie obniży koszty, zależy od potrzebnego sprzętu i nakładu pracy operacyjnej — samo wydanie nie pozwala tych kosztów ustalić.
Co warto zapamiętać?
DeepSeek otwiera dostęp do silnika wnioskowania przeznaczonego dla modelu DeepSeek-V4.1-Flash, a deepseek-recipe dodaje warstwę do przetwarzania żądań i odpowiedzi. Dla zespołów infrastrukturalnych to więcej narzędzi do samodzielnego hostowania modelu, ale deklarowane optymalizacje należy oddzielić od niezależnie zmierzonych wyników. Trzeba też uwzględnić dodatkową pracę potrzebną, by z wnioskowania offline zbudować niezawodną usługę online.
3
4
33
49