Šéf výzkumu umělé inteligence v Tencentu Yao Shunyu varoval, že schopnosti AI v biologii se mohou brzy dostat na úroveň, kdy bude možné způsobit skutečnou škodu. Přirovnal to k rizikům v kyberprostoru, kde už dnes mohou být modely zneužity. Jeho varování se týká vývoje pokročilých modelů obecně — neznamená, že právě uvedený Tencentův model Hy4 už překročil hranici vysokého biologického rizika.
2
8
Proč je biologie zvláštní bezpečnostní problém
Podle zpráv o Yaoových vystoupeních může být v biologii obtížnější rozlišit mezi schopnostmi využitelnými k útoku a těmi, které pomáhají při obraně. AI přitom může mít i přínosné využití, například urychlit vývoj léčiv a dalšího výzkumu.
1
8
Nejde tedy o tvrzení, že každý současný model dokáže provádět nebezpečný biologický výzkum. Yaoovo varování míří na to, kam se schopnosti pokročilých systémů posouvají, a na rizika, která může takový vývoj přinést.
8
Co Tencent uvádí o modelu Hy4
Tencent představil Hy4 4. listopadu. Model má 770 miliard parametrů a přidal porozumění obrazu, uvažování i schopnost pracovat s počítačem — například prostřednictvím příkazového řádku nebo grafického rozhraní.
4
5
Uvedení modelu do služeb je třeba odlišit od zveřejnění jeho vah, tedy souborů potřebných k jeho vlastnímu provozu. Tencent při uvedení oznámil, že váhy a podrobnější bezpečnostní dokument, takzvanou systémovou kartu, plánuje zveřejnit později.
1
9
12
V testu Hy-BioExperimentBench zaměřeném na návrh biologických experimentů získal Hy4 podle Tencentu 30,4 bodu ze 100. Firma uvedla, že výsledek je pod její hranicí vysokého rizika. Její interní hodnocení zároveň popisuje, že model má základní biologické znalosti, ale zatím je jen omezeně dokáže převést do konkrétních laboratorních postupů.
4
13
Tento výsledek Yaoovo varování nevyvrací: týká se jednoho modelu a hodnocení zveřejněného jeho výrobcem, zatímco varování mluví o budoucích schopnostech pokročilých systémů obecně. Skóre ani interně stanovená hranice navíc nejsou nezávislou zárukou, že je Hy4 bezpečný.
8
13
Jaká opatření Tencent popisuje
Tencent tvrdí, že při trénování Hy4 omezil kyberbezpečnostní materiály na obranné využití, například tvorbu ukázkového kódu pro ověření zranitelnosti a její opravu. Z tréninkových dat podle firmy odfiltroval materiály zaměřené na vývoj exploitů, reverzní inženýrství a penetrační testování. Bezpečnostní audity měli provést také odborníci z týmů Tencent Xuanwu Lab a Keen Security Lab.
12
Jde o opatření, která uvádí samotný Tencent. Sama o sobě ale neřeší širší otázku, na niž upozornil Yao: jak řídit modely, jejichž vědecké schopnosti rostou a jejichž užitečné i škodlivé využití může být stále obtížnější oddělit.
8
12