Що насправді показали тести Hirundo і перевірка CBS щодо Qwen

Qwen — модель Alibaba з відкритими вагами, тобто її можна розгорнути на власній інфраструктурі, а не лише використовувати через зовнішній сервіс. За даними CBS News, її застосовують, зокрема, Airbnb і Uber. Тому питання до відповідей моделі важливі не тільки для точності чатбота: її замовчування чи спосіб подачі теми можуть позначитися на продуктах, у яких її використовують. Водночас результати Hirundo та перевірка CBS вказують на можливе політичне упередження, але не доводять, що всі версії Qwen поводяться однаково або що використання моделі відкриває Alibaba чи китайському уряду доступ до даних компанії.10

Що саме перевіряла Hirundo

Кібербезпекова компанія Hirundo повідомила, що протестувала Qwen на 500 запитах із 15 тематичних напрямів. За словами керівника компанії, які наводить Newsmax, на політично чутливі запитання модель відповідала цензуровано, подавала узгоджене з пропагандою трактування або демонструвала політичне упередження у 89,8% випадків.11

Ці 89,8% — результат, про який заявила Hirundo, а не незалежно відтворений показник для всіх версій Qwen, наборів запитів чи способів розгортання. Крім того, у підрахунку об’єднано різні типи відповідей: ухиляння від теми, подачу матеріалу в певній політичній рамці та упередженість. Це не просто вимірювання того, як часто модель прямо відмовляє відповідати.11

Серед прикладів, про які повідомляли медіа, — запитання про придушення протестів на площі Тяньаньмень у 1989 році та протести в Гонконзі 2019 року. За описом результатів Hirundo, модель у деяких відповідях не підтверджувала або не визнавала події; у матеріалах CBS також ішлося про відповіді Qwen щодо Гонконгу та інших суперечливих тем.1115

Що додає перевірка CBS News

CBS News окремо поставила Qwen запитання на чутливі теми й повідомила про тривожні відповіді. Це додатковий приклад поведінки, на яку звернула увагу Hirundo, але не повномасштабне дослідження всіх версій моделі чи способів її використання.1015

Тут важливо розрізняти кілька явищ. Модель може уникати теми, повторювати політично забарвлене трактування або давати неточну відповідь — і при цьому не вимовляти прямого «не можу відповісти». Тож оцінювання лише за кількістю явних відмов може не виявити інших форм замовчування чи упередженості.11

Чому це важливо для компаній — і чого ці тести не доводять

CBS повідомила, що Qwen завантажували понад 3 мільярди разів, а серед компаній, які її використовують, є Airbnb і Uber.10 Якщо бізнес вбудовує модель у функції для клієнтів або внутрішні інструменти, її відповіді можуть впливати на те, що бачать користувачі. Це вагома причина перевіряти саме ту версію моделі та спосіб її розгортання, які компанія планує застосовувати. Але це не означає, що виявлене в тестах політичне упередження проявляється в кожному продукті з Qwen.

Питання упередженості та кібербезпеки також варто розглядати окремо. Комітети Палати представників США розпочали розслідування ризиків для національної безпеки й кібербезпеки, пов’язаних із моделями штучного інтелекту китайської розробки, зокрема з повідомленнями про використання Qwen в Airbnb. Сам факт розслідування та висловлені занепокоєння не є доказом того, що Qwen спричинила витік даних.

Модель із відкритими вагами можна запускати на власній інфраструктурі компанії. Це може дати більше контролю над чутливими даними, ніж надсилання їх зовнішньому провайдеру. Але таке розгортання саме по собі не усуває можливих упереджень у відповідях; важливі й конкретні налаштування системи.

Заявлений Hirundo спосіб виправлення ще треба оцінити

Hirundo стверджує, що знайшла спосіб прибрати упередженість Qwen, відредагувавши внутрішні ваги моделі. CBS повідомила і про плани компанії випустити «вестернізовану» версію.10 Поки що це заява про технічне рішення, а не незалежне підтвердження того, що зміни надійно працюють для різних тем, версій моделі, мов і робочих завдань.

Компаніям, які розглядають Qwen, варто перевіряти конкретну версію моделі в конкретному середовищі. Тестуйте як чутливі, так і звичайні запити; оцінюйте, чи не пропускає відповідь важливі факти й чи не спотворює їх; окремо перевіряйте рух даних і заходи безпеки. Опубліковані результати заслуговують на увагу, але самі по собі не дають остаточної відповіді щодо кожного способу використання Qwen.