Qwen pod lupą: co naprawdę pokazują testy Hirundo i CBS

Qwen, model AI rozwijany przez Alibaba, jest dostępny jako model o otwartych wagach — można go uruchamiać i wykorzystywać we własnych systemach. Według CBS News korzystają z niego także firmy takie jak Airbnb i Uber.10 Dlatego pytanie o to, jak Qwen odpowiada na wrażliwe tematy, dotyczy nie tylko trafności chatbota: jego przemilczenia i sposób ujmowania spraw mogą przenosić się na produkty, w których został użyty. Testy Hirundo i sprawdzenie CBS wskazują na możliwe stronniczenie polityczne, ale nie dowodzą, że każda wersja Qwen zachowuje się tak samo — ani że samo użycie modelu oznacza przekazywanie danych firmie Alibaba lub chińskiemu rządowi.10

Co sprawdziło Hirundo

Hirundo, startup zajmujący się cyberbezpieczeństwem, podaje, że przetestował Qwen za pomocą 500 promptów obejmujących 15 tematów. Jak powiedział CBS szef firmy, Ben Luria, przy pytaniach politycznie wrażliwych model w 89,8% przypadków wykazywał cenzurę, przedstawiał narrację zgodną z propagandą albo przejawiał stronniczość polityczną — podał Newsmax.11

To wynik zgłoszony przez Hirundo, a nie niezależnie potwierdzony wskaźnik dla wszystkich wersji Qwen, zestawów pytań i sposobów wdrożenia. Łączy też kilka różnych zachowań: unikanie odpowiedzi, przedstawianie określonej narracji i stronniczość. Nie mierzy więc wyłącznie jawnych odmów.11

Wśród opisywanych przykładów znalazły się pytania o wydarzenia na placu Tian’anmen w 1989 roku oraz protesty w Hongkongu w 2019 roku. Według relacji o testach Hirundo model udzielał odpowiedzi, które nie potwierdzały tych wydarzeń lub ich nie uznawały. CBS zwróciło uwagę na odpowiedzi Qwen dotyczące Hongkongu i innych kontrowersyjnych tematów.1115

Co wnosi sprawdzenie CBS

CBS News zadało Qwen własne pytania dotyczące wrażliwych zagadnień i opisało niepokojące odpowiedzi. To dodatkowy przykład zachowania, o którym mówiło Hirundo, ale nadal tylko sprawdzenie wybranych odpowiedzi — nie dowód, że każda wersja modelu i każde firmowe wdrożenie zareaguje identycznie.1015

Warto odróżniać odmowę od innych problemów. Model może ominąć temat, powtórzyć politycznie ukierunkowaną narrację albo podać nieprawdziwą odpowiedź, nie mówiąc wprost „nie mogę odpowiedzieć”. Samo liczenie jawnych odmów może więc nie wychwycić przemilczeń ani stronniczości.11

Co te wyniki znaczą dla firm — a czego nie dowodzą

CBS podało, że Qwen został pobrany ponad 3 miliardy razy i jest używany przez firmy, w tym Airbnb i Uber.10 Gdy firma włącza model do narzędzia dla klientów lub systemu wewnętrznego, odpowiedzi mogą wpływać na to, jakie informacje widzą użytkownicy. To argument za testowaniem konkretnej wersji Qwen w planowanym zastosowaniu, a nie dowód, że opisane zastrzeżenia dotyczą każdego produktu korzystającego z tego modelu.

Kwestie stronniczości politycznej i bezpieczeństwa danych to odrębne sprawy. Komisje Izby Reprezentantów USA wszczęły dochodzenie dotyczące zagrożeń dla bezpieczeństwa narodowego i cyberbezpieczeństwa związanych z modelami AI rozwijanymi w Chinach, w tym zgłaszanego wykorzystania Qwen przez Airbnb. Dochodzenie i związane z nim obawy nie są dowodem, że Qwen spowodował wyciek danych.

Model o otwartych wagach można uruchomić na własnej infrastrukturze firmy. Może to dać jej większą kontrolę nad wrażliwymi danymi niż korzystanie z zewnętrznej usługi, ale samo w sobie nie usuwa możliwego stronniczenia zapisanego w odpowiedziach modelu. Znaczenie mają szczegóły konkretnego wdrożenia.

Deklarowana poprawka Hirundo wymaga weryfikacji

Hirundo twierdzi, że potrafi ograniczyć stronniczość Qwen, modyfikując wewnętrzne wagi modelu. CBS informowało też o planach firmy dotyczących publikacji „zwesternizowanej” wersji.10 To deklaracja na temat proponowanego rozwiązania technicznego, a nie niezależny dowód, że zmiana działa niezawodnie w różnych tematach, wersjach modelu, językach i zadaniach biznesowych.

Dla organizacji rozważających Qwen praktyczny wniosek jest prosty: należy sprawdzić dokładnie tę wersję i konfigurację, które mają trafić do użytku. Warto testować zarówno pytania wrażliwe, jak i codzienne zadania, oceniać pominięcia i zniekształcenia faktów, a osobno przeanalizować przepływ danych oraz zabezpieczenia. Opisane wyniki uzasadniają ostrożność, ale nie rozstrzygają tych kwestii dla każdego zastosowania Qwen.