Xiaowei w WeChat: jak WeLM ma zamienić AI w warstwę obsługi całego ekosystemu

To nie ma być kolejny samodzielny chatbot

Xiaowei — którego nazwa bywa zapisywana także jako Xiao Wei — jest testowany w ograniczonej skali jako natywny asystent wbudowany bezpośrednio w WeChat, czyli chińską wersję platformy znanej na rynkach międzynarodowych jako WeChat. Użytkownik może komunikować się z nim tekstem lub głosem. Asystent ma pomagać nie tylko w rozmowie i wyszukiwaniu informacji, ale także w obsłudze funkcji WeChat, komunikowaniu się ze znajomymi oraz uruchamianiu miniprogramów — lekkich aplikacji działających wewnątrz WeChat. 151719

To zasadnicza różnica względem samodzielnych aplikacji AI, takich jak Yuanbao. Xiaowei nie musi być osobnym miejscem, do którego użytkownik przechodzi po poradę. Jego rolą ma być raczej naturalny interfejs do już istniejącej sieci ludzi, usług i miniprogramów WeChat. Innymi słowy: zamiast otwierać kolejne menu, użytkownik może wyrazić intencję, a asystent spróbuje przełożyć ją na działanie w ekosystemie aplikacji.

Od modelu 10B do WeLM-80B

Rozwój WeLM sięga opublikowanego w 2022 roku chińskiego modelu o 10 mld parametrów. W materiałach dotyczących jego następcy wspomina się o dobrych wynikach na 18 zadaniach, jednak dokładnych szczegółów tego zestawienia nie udało się niezależnie potwierdzić na podstawie dostępnych źródeł. 4

Nowszym, ujawnionym etapem jest WeLM-80B. Model ma łącznie około 80 mld parametrów, ale przy przetwarzaniu pojedynczego tokena aktywuje około 3 mld z nich. Według opublikowanych informacji trenowano go na zbiorze obejmującym mniej niż 14 bln tokenów. Model ma obsługiwać m.in. rozumowanie, rozumienie wielu języków oraz kontekst o długości 128 tys. tokenów. 711

WeLM-80B został wskazany jako model napędzający Xiaowei. Ma odpowiadać za rozmowę i wyszukiwanie, wywoływanie podstawowych funkcji WeChat oraz korzystanie z usług miniprogramów. 89

WeLM-617B: większy model do trudniejszych zadań

Kolejny poziom stanowi WeLM-617B — model o 617 mld parametrów, z których przy jednym kroku obliczeń aktywnych ma być około 23 mld. Także on korzysta z architektury Mixture of Experts (MoE), czyli „mieszanki ekspertów”.

Ważne zastrzeżenie: WeLM-617B jest opisywany jako model w fazie rozwoju, a nie jako w pełni wdrożona wersja Xiaowei. Jego planowane zastosowania obejmują trudniejsze zadania w ekosystemie WeChat, takie jak inteligentne tworzenie miniprogramów oraz generowanie narzędzi współpracujących z Xiaowei. 8912

Podział ról jest więc dość czytelny: WeLM-80B ma obsługiwać częste, codzienne interakcje, natomiast większy model ma być przeznaczony do bardziej złożonego rozumienia, wnioskowania, tworzenia kodu i wieloetapowych działań.

Dlaczego „617 mld parametrów” nie oznacza 617 mld obliczeń za każdym razem?

W gęstym modelu wszystkie główne parametry uczestniczą w przetwarzaniu każdego tokena. W modelu MoE działa router, który dla danego tokena wybiera tylko niewielką część wyspecjalizowanych sieci — tak zwanych ekspertów.

Dlatego WeLM-80B może oferować pulę o pojemności 80 mld parametrów, a jednocześnie wykonywać obliczenia bliższe ścieżce z około 3 mld aktywnych parametrów na token. W WeLM-617B podobna zasada oznacza 617 mld parametrów łącznie i około 23 mld aktywnych podczas pojedynczego kroku. 78

Ma to znaczenie przy asystencie działającym w aplikacji o bardzo dużej skali. Pojedyncze zadania — wyszukanie informacji, wysłanie wiadomości, przejście do usługi czy wywołanie miniprogramu — mogą być proste, ale ich liczba może być ogromna. Mniejsza liczba aktywnych parametrów może poprawiać przepustowość i opóźnienia oraz ograniczać koszt obsługi, a zarazem zachować dostęp do dużej puli wyspecjalizowanych ekspertów.

Nie oznacza to jednak, że model 80B jest dokładnie tak tani jak gęsty model 3B. Wszystkie wagi ekspertów nadal trzeba przechowywać i odpowiednio rozmieścić. Pozostają też koszty routingu, pamięci oraz komunikacji między urządzeniami. Korzyść dotyczy przede wszystkim mniejszej liczby operacji wykonywanych dla każdego tokena — a nie darmowego skalowania.

Hidden Decoding: więcej obliczeń „pod powierzchnią”

WeChat rozwija również metodę Hidden Decoding, która ma zwiększać ilość ukrytych obliczeń bez prostego dokładania kolejnych warstw lub poszerzania głównego modelu Transformer.

W uproszczeniu jeden token wejściowy jest rozwijany do kilku wewnętrznych strumieni. Każdy z nich korzysta z osobnych reprezentacji, a stany pośrednie — w tym informacje przechowywane w pamięci KV — pozostają dostępne jako kontekst dla dalszych obliczeń. Model może dzięki temu wykonać więcej pracy w przestrzeni ukrytej, zanim wygeneruje kolejny token widoczny dla użytkownika. 12

W opisanych eksperymentach warianty WeLM-HD4-80B i WeLM-HD4-617B, wykorzystujące cztery strumienie, poprawiły wyniki względem odpowiadających im bazowych modeli autoregresyjnych. 16

To podejście różni się od klasycznego zwiększania skali. Zamiast budować Transformer coraz głębszy lub szerszy, zespół próbuje zwiększyć „głębokość rozumowania” poprzez dodatkową pracę wykonywaną wewnątrz reprezentacji tokenów.

Rola Stream-Factorized Attention

Na tym polega główne wyzwanie systemowe: jeśli każdy token zostanie zamieniony na n strumieni, naiwny mechanizm uwagi mógłby zwiększyć koszt interakcji między nimi w przybliżeniu kwadratowo względem n.

Stream-Factorized Attention ogranicza ten problem. Większość warstw analizuje informacje w obrębie własnego strumienia, a mieszanie danych między strumieniami odbywa się tylko w wybranych warstwach. Dzięki temu dodatkowy koszt uwagi rośnie bliżej liniowo niż kwadratowo wraz z liczbą strumieni. Według zespołu WeChat właśnie taki podział ma umożliwiać trenowanie i obsługiwanie Hidden Decoding przy skali modeli MoE przekraczającej 100 mld parametrów.

Czy WeChat buduje „system operacyjny” dla AI?

Połączenie rzadkiego MoE i Hidden Decoding sugeruje model działania oparty na kilku poziomach. W przypadku rutynowych, masowych interakcji można używać efektywnej ścieżki klasy WeLM-80B-A3B. Bardziej wymagające zadania — planowanie, wybór narzędzi, generowanie kodu czy wieloetapowa obsługa usługi — mogą trafiać do większego modelu albo otrzymywać więcej ukrytego czasu obliczeniowego.

Jeśli odpowiednio rozwiązane zostaną kwestie uprawnień, tożsamości użytkownika, płatności, dostępu do API miniprogramów, niezawodności i zgody na wykonywanie działań, Xiaowei może stać się warstwą operacyjną nad istniejącym WeChat. Użytkownik nie musiałby wtedy myśleć o tym, który miniprogram otworzyć ani gdzie znajduje się konkretna funkcja. Wystarczyłoby przejść przez kolejne etapy: znajdź, zdecyduj, uruchom, zakończ.

To jednak wciąż wniosek strategiczny, a nie potwierdzona mapa drogowa produktu. Na obecnym etapie wiadomo przede wszystkim, że Xiaowei jest ograniczenie testowany, WeLM-80B został powiązany z jego działaniem, a WeLM-617B pozostaje w fazie rozwoju. 891215