Co testy Qwenu skutečně odhalily — a co z nich vyvozovat nelze

Model Qwen od čínské společnosti Alibaba patří mezi takzvané modely s otevřenými vahami. Firmy si je mohou stáhnout a provozovat na vlastní infrastruktuře. Podle CBS News se Qwen používá také v některých službách západních společností, například Airbnb a Uberu. Pokud se model zabuduje do firemního produktu, jeho odpovědi mohou ovlivnit, jaké informace uživatelé dostanou — a jak jsou podané.10

Nedávné testy společnosti Hirundo a vlastní kontrolní dotazy CBS News upozornily na možné politické zkreslení a cenzuru. Je ale důležité rozlišovat mezi tím, co výsledky ukazují, a co z nich zatím vyvodit nelze.

Co Hirundo testovalo

Kyberbezpečnostní startup Hirundo uvádí, že Qwen prověřil pomocí 500 zadání napříč 15 tematickými okruhy. U politicky citlivých otázek podle jeho výkonného ředitele model v 89,8 % případů odpověděl cenzurujícím nebo politicky zaujatým způsobem, případně použil rámování odpovídající propagandě.11

Číslo 89,8 % je výsledkem testu, který popisuje Hirundo. Nejde o nezávisle ověřenou míru platnou pro všechny verze Qwenu, všechna zadání ani všechny způsoby nasazení. Navíc sdružuje několik typů odpovědí — vyhýbání se tématu, politicky vyhraněné rámování i zaujatost — a neměří tedy pouze přímé odmítnutí odpovědět.11

Mezi uváděnými příklady byly otázky o událostech na náměstí Nebeského klidu v roce 1989 a protestech v Hongkongu v roce 2019. Podle popisu výsledků Hirundo Qwen v některých případech události nepotvrdil ani neuznal. CBS News ve svém zpravodajství upozornila také na odpovědi týkající se Hongkongu a dalších kontroverzních témat.1115

Co přidaly vlastní dotazy CBS News

CBS News položila Qwenu vlastní otázky k citlivým tématům a informovala o znepokojivých odpovědích. Její reportáž tak přinesla další příklady chování, na které upozorňuje Hirundo. Jde však o kontrolní dotazy, nikoli o důkaz, že se stejně zachová každá verze modelu nebo každé firemní nasazení.1015

Rozdíl je důležitý: model může téma obejít, převzít určité politické rámování nebo podat nepřesnou odpověď, aniž by výslovně řekl, že odpovědět nemůže. Hodnocení založené jen na tom, zda model odmítl odpovědět, proto může přehlédnout jiné podoby vynechávání informací či zaujatosti.11

Proč to zajímá firmy — a co testy nedokazují

CBS News uvedla, že Qwen byl stažen více než tři miliardykrát a používají ho mimo jiné společnosti Airbnb a Uber.10 Pokud firma model zapojí do zákaznických funkcí nebo interních nástrojů, jeho odpovědi mohou ovlivnit, co se dostane k uživatelům. To je důvod testovat konkrétní verzi a způsob nasazení na úlohách, pro které ji chce firma využít — nikoli důkaz, že se zjištěné politické zkreslení týká každého produktu s Qwenem.

Otázky politické zaujatosti je také potřeba oddělit od otázek kyberbezpečnosti. Výbory Sněmovny reprezentantů USA zahájily vyšetřování bezpečnostních rizik spojených s modely vyvinutými v Číně, včetně údajného využívání Qwenu společností Airbnb. Zahájené vyšetřování ani obavy, které provází, nejsou důkazem, že Qwen způsobil únik dat.

Model s otevřenými vahami lze provozovat na vlastní firemní infrastruktuře. Firma tak může mít nad citlivými daty větší kontrolu než při jejich odesílání externímu poskytovateli. Samotné lokální nasazení ale neodstraní případné zkreslení, které se projevuje v odpovědích. Záleží také na konkrétním technickém nastavení.

Hirundo slibuje úpravu modelu. Její účinnost je ale třeba ověřit

Hirundo tvrdí, že dokáže zkreslení Qwenu odstranit úpravou jeho vnitřních vah. CBS News informovala také o plánu společnosti vydat „westernizovanou“ verzi modelu.10 Jde o tvrzení o navrhovaném technickém řešení, nikoli o nezávislý důkaz, že bude spolehlivě fungovat napříč tématy, verzemi modelu, jazyky i běžnými firemními úlohami.

Pro organizace, které o Qwenu uvažují, je praktický závěr jasný: prověřit konkrétní verzi i způsob nasazení. Testovat běžná i citlivá zadání, sledovat, zda model nevynechává nebo nezkresluje důležité skutečnosti, a zvlášť zkontrolovat datové toky a bezpečnostní opatření. Zveřejněná zjištění si zaslouží pozornost, ale sama o sobě nerozhodují ani o každém použití modelu, ani o jeho bezpečnosti.