AI může urychlit vývoj další AI. Výzkumníci chtějí, aby to regulátoři sledovali

Nejde jen o to, že by nové modely umělé inteligence mohly být schopnější. Výzkumníci upozorňují na možnost, že AI bude pomáhat vytvářet další AI — a ta pak převezme ještě větší část výzkumu a vývoje. Taková zpětná vazba by mohla zrychlit tempo pokroku. Vedoucí pracovníci a výzkumníci z OpenAI, Anthropic, Meta a Microsoftu proto chtějí, aby politici zjistili, jak daleko automatizace výzkumu pokročila, dříve než bude případný dohled obtížnější. 23

Pojem „exploze inteligence“ označuje rizikový scénář, nikoli důkaz, že AI už bez lidského vedení sama sebe zdokonaluje. Hlavní otázkou pro regulátory je, jak měřit a řídit rostoucí roli AI při vývoji dalších systémů. 114

Jak by AI mohla urychlit vlastní vývoj

AI může pomáhat s různými úkoly při vývoji budoucích modelů. Pokud díky tomu výzkumníci vytvoří schopnější systémy a ty následně převezmou další výzkumnou práci, každý krok by mohl urychlit ten následující. Této představě se říká rekurzivní sebezdokonalování: AI pomáhá zlepšovat proces, kterým vzniká další AI. 15

Varování se týká především tempa změn. Podle jednoho scénáře popsaného v souvislosti s novým dokumentem by se pokrok, který by jinak trval rok, mohl odehrát během několika týdnů. Jde však o odhad možného vývoje, ne o naměřený výsledek. Dostupné zdroje nedokládají, že už takové tempo nastalo. 314

Starší studie založená na rozhovorech s 25 výzkumníky z předních AI laboratoří a akademického prostředí zjistila, že mnozí očekávají automatizaci výzkumu AI a vznik pozitivní zpětné vazby. To pomáhá vysvětlit, proč se této možnosti část oboru věnuje vážně; neznamená to ale, že je „exploze inteligence“ nevyhnutelná. 1

Co mají politici podle výzkumníků prověřit

Bezprostřední požadavek je poměrně konkrétní: získat lepší přehled o tom, nakolik firmy využívají AI ve výzkumu a vývoji. Více než 20 odborníků a představitelů oboru vyzvalo politiky, aby tento pokrok podrobněji sledovali a zvážili ochranná opatření. 2

Tato výzva sama o sobě nedokazuje, že AI laboratoře už přenechaly výzkum umělé inteligenci. Lepší informace o tom, kde a jak se AI používá, mohou politikům pomoci posoudit, zda současný dohled stačí i ve chvíli, kdy systémy přebírají větší část vývojového procesu. 23

Proč někteří chtějí vývoj zpomalit

Koordinované zpomalení by mohlo poskytnout více času na bezpečnostní testy, nezávislé hodnocení a účinnější dohled, než se schopnosti systémů znovu změní. Výzkumníci z OpenAI a Anthropic veřejně vyzývali k pomalejšímu vývoji, zatímco někteří další představitelé odvětví dávají přednost řešením vedeným trhem. Shoda na tom, zda a jak vývoj zpomalit, v oboru zatím nepanuje. 818

Zůstávají i praktické otázky: kterých systémů nebo činností by se omezení týkalo, kdo by kontroloval jeho dodržování a jak by se na něm dohodly firmy, které spolu soupeří? Dostupné zprávy upozorňují, že není jasné ani to, co přesně by případná pauza znamenala a jak by se vymáhala.

Vypínač jako nouzová brzda — ne samospásné řešení

Prezident Microsoftu Brad Smith navrhl, aby možnost AI vypnout měli tvůrci modelů, poskytovatelé cloudové infrastruktury i ti, kdo spravují AI agenty. Takové ovládání by mohlo fungovat jako nouzová brzda, nikoli jako náhrada prevence a průběžného dohledu.

Ani vypnutí ale není jednoduché. AI může běžet na distribuované infrastruktuře, takže jediný vypínač nezaručí zastavení všech jejích částí. Odborníci proto zdůrazňují také potřebu průběžného monitorování a zásahu člověka.

Kdo nastavuje pravidla, když firmy mají i obchodní zájmy?

Návrh zapojit do dohledu vývojáře a poskytovatele cloudu otevírá otázku střetu rolí. Microsoft se podílí na vývoji AI modelů a zároveň poskytuje cloudovou infrastrukturu. Překryv obchodní a bezpečnostní role je důvodem pro jasná pravidla a nezávislou kontrolu; sám o sobě ale nedokazuje, že některá firma své bezpečnostní postoje nemyslí vážně. 2

Širším problémem je koordinace. Představitelé odvětví se neshodnou na tempu vývoje a debata o zpomalení probíhá v prostředí silné konkurence. Pro jednu firmu může být obtížné držet dobrovolná omezení, pokud ostatní pokračují rychle. Zdroje dokládají neshody a konkurenční tlak, nikoli to, že by obchodní zájmy určovaly postoje jednotlivých výzkumníků. 1218

Pro politiky z toho vyplývají dvě související otázky: jak sledovat, jak AI pomáhá vyvíjet další AI, a jak zajistit, aby šla bezpečnostní opatření ověřit nezávisle — nejen na základě ujištění samotných firem. Varování je důvodem zabývat se těmito otázkami už nyní. Neříká však, jak pravděpodobná je „exploze inteligence“ ani které konkrétní opatření by fungovalo nejlépe. 123