Britský král Karel III. svolal 17. září do Dumfries House ve skotském Ayrshiru představitele předních firem v oblasti umělé inteligence a britské vlády. Mezi účastníky byli zástupci Nvidie, Google DeepMind, OpenAI a Anthropicu i britský ministr pro AI Kanishka Narayan. Soukromá schůzka se podle dostupných zpráv soustředila na společné principy, nikoli na uzavření závazné regulační dohody.
1
9
12
Královo varování: AI musí zůstat pod lidskou kontrolou
Karel III. popsal AI jako technologii s velkým příslibem, ale i vážnými důvody k obavám. Účastníky vyzval, aby sloužila lidem, komunitám a planetě a zůstala pod lidskou kontrolou. Zároveň upozornil na „existenciální nebezpečí“, pokud by se výkonné systémy dostaly do nepovolaných rukou a byly použity katastrofálním způsobem. Podle něj je nutné řešit ochranná opatření dřív, než bude pozdě.
9
11
13
Tím summit vstoupil do živé debaty o takzvané frontier AI, tedy nejpokročilejších modelech: mohou se jejich schopnosti vyvíjet rychleji než instituce, bezpečnostní postupy a společenská pravidla, které je mají řídit? Cílem jednání bylo hledat cestu, jak využít přínosy AI pro společnost a lidskou důstojnost, aniž by se přehlížela její rizika.
1
9
Huang: regulovat výsledný produkt, ne AI jako celek
Šéf Nvidie Jensen Huang netvrdí, že bezpečnost není důležitá. Naopak říká, že firmy mají systémy důkladně testovat a nevydávat produkt, pokud si nejsou jisté jeho bezpečností. Považuje to především za běžnou inženýrskou odpovědnost.
18
23
30
Odlišuje se však v tom, co přesně regulovat. AI podle něj není jeden samostatný spotřebitelský produkt typu sociální sítě, ale základní technologie používaná v mnoha dalších službách a zařízeních. Regulace by se proto měla zaměřit na konkrétní produkty a nasazení AI; úřady mají sledovat, kde použití selže, a v případě potřeby doplnit existující právní předpisy. Huang připomněl, že odvětví jako zdravotnictví, doprava či zábava již vlastní regulační rámce mají.
26
28
Jeho přístup je tedy zaměřený na produkt a konkrétní odvětví:
- hodnotit riziko podle konkrétního použití, například u zdravotnického nebo dopravního produktu;
- použít stávající oborová pravidla, případně je doplnit tam, kde nasazení AI odhalí mezeru;
- před uvedením produktu na trh vyžadovat pečlivé testování v kontrolovaných podmínkách.
23
28
Tento přístup klade menší důraz na široký zákon zaměřený na AI jako technologii nebo na povinné zpomalení vývoje modelů.
V čem se pohledy střetávají
Královo varování mířilo na závažné zneužití a na rizika, která se mohou objevit ještě předtím, než je snadné ukázat na konkrétní škodlivý produkt. Jde o preventivnější pojetí: ochranná opatření a mezinárodní spolupráce mají být připraveny dříve, než schopnosti systémů či hrozby přerostou možnosti kontroly.
1
11
Generální ředitel Anthropicu Dario Amodei již dříve vyzval ke zpomalení vývoje frontier modelů, aby bezpečnostní opatření stačila držet krok. Huang se proti představě nových zákonů či zvláštních ujednání umožňujících koordinované zpomalení vymezil. Dává přednost inženýrským postupům, testování a využití existujících právních nástrojů.
8
30
| Přístup |
Hlavní zaměření |
Kdy zasáhnout |
| Huangův přístup |
Produkty využívající AI a jednotlivá nasazení |
Testovat před uvedením na trh; použít oborová pravidla, když se objeví problém nebo zjevná mezera |
| Preventivní přístup zaznívající na summitu |
Systémová a potenciálně katastrofická rizika stále schopnější AI |
Zavést silnější pojistky dříve, než rizika či schopnosti přerostou kontrolní mechanismy |
Obě strany se shodují, že AI má být bezpečná a pod lidským dohledem. Liší se ale v rozdělení odpovědnosti. Huang klade větší váhu na disciplínu vývojářů při vydávání produktů, technické standardy a regulátory jednotlivých odvětví. Karel III. a širší snaha o společné principy naproti tomu zdůrazňují, že některá rizika AI mohou vyžadovat koordinované mantinely ještě před selháním konkrétního produktu v určitém sektoru.
9
23
28
Co z jednání plyne
Dumfries House spor o regulaci AI neuzavřel. Jasně však ukázal jeho hlavní linii: zda lze AI řídit hlavně prostřednictvím existujících pravidel pro výrobky a důsledného testování, nebo zda pokročilé systémy přinášejí napříč obory taková rizika, že jsou nutná nová preventivní a koordinovaná opatření.
Společný cíl zůstává jednoduchý: AI má sloužit lidem a nesmí se vymknout lidské kontrole. Cesta k tomuto cíli ale zůstává předmětem sporu.
9
12
28