OpenAI otevírá vývoj pokročilé AI dřívějším nezávislým bezpečnostním kontrolám

OpenAI uvádí, že podpoří nezávislá technická posuzování bezpečnosti tzv. frontier modelů – tedy nejpokročilejších systémů AI – už v průběhu jejich trénování, vyhodnocování a nasazování. Nejde tedy jen o kontrolu těsně před uvedením produktu. Smyslem má být umožnit externím organizacím prověřit bezpečnostní tvrzení firmy, odhalit slepá místa a zjistit, zda navržená ochranná opatření skutečně fungují. 5

Je to širší pojetí než běžný red teaming před vydáním, kdy specialisté zkoušejí hledat slabiny hotového nebo téměř hotového systému. Zveřejněný návrh OpenAI je však dobrovolný rámec, nikoli licenční režim řízený nezávislým úřadem ani právně závazná povinnost zastavit nasazení modelu. V praxi proto bude záležet na podmínkách přístupu, nezávislosti hodnotitelů a na důsledcích jejich zjištění.

Co mají externí hodnotitelé prověřovat

Podle OpenAI mají posouzení třetí stranou nezávisle testovat důkazy pro tvrzení o schopnostech, rizicích a bezpečnostních opatřeních u pokročilé AI. Firma hovoří o hlubokém přístupu napříč trénováním, vyhodnocováním i nasazováním. 5

Zprávy o rámci uvádějí jako jednu z priorit nezávislé posouzení takzvaného safety case laboratoře – souboru argumentů a podkladů, proč považuje model za dostatečně bezpečný. Posuzování má zahrnovat trénování, interní nasazení i nasazení pro externí uživatele. Rámec zároveň popisuje čtyři oblasti hodnocení a sedm provozních zásad; laboratoře by měly dostat čas na nápravu zjištění před zveřejněním a mohou žádat redakce citlivých částí. 2

Dřívější přístup je podstatný: kontrola provedená až na konci vývoje může odhalit problém ve chvíli, kdy už se velká technická i obchodní rozhodnutí mění obtížně. Zároveň ale práce s modely v rané fázi může zpřístupnit citlivé informace, například o jejich schopnostech, testovacích postupech nebo modelových vahách. Každý takový program proto musí řešit i bezpečnost samotného procesu hodnocení.

Čtyři podmínky, které mají dát kontrolám důvěryhodnost

OpenAI označuje za základ účinného hodnocení čtyři věci: silné mechanismy nezávislosti, vědeckou přísnost, robustní bezpečnostní postupy a jasné odpovědnosti. 5

Nezávislost

Hodnocení není skutečně nezávislé, pokud vývojář může určovat metody, po nepříjemném výsledku omezit přístup nebo ukončit financování. Nezávislost se proto netýká jen toho, zda hodnotitel pracuje mimo firmu. Týká se také řízení, financování, rozsahu pověření i komunikace výsledků.

Koalice hodnotitelů podobně požaduje věcnou nezávislost: ochranu před kontrolou ze strany posuzovaných firem a právo zveřejnit hlavní závěry s výjimkou jen úzce vymezených redakcí. 1734

Vědecká přísnost

Posouzení potřebuje kvalifikované odborníky, platné metody a důkazy, které lze přezkoumat nebo reprodukovat. AI Safety Index organizace Future of Life Institute upozorňuje na potřebu silnější metodiky a nezávislosti – místo roztříštěných testů jednotlivých úloh s omezenou vypovídací hodnotou. 812

Bezpečnost

Dřívější přístup externích týmů k pokročilým systémům může sám vytvářet riziko. OpenAI proto říká, že vývojáři musí umožnit smysluplnou kontrolu a současně chránit citlivé informace. 5 Bezpečnostní pravidla by měla bránit zbytečnému úniku informací, neměla by se ale stát univerzální záminkou pro omezení testování nebo zatajení podstatných zjištění.

Jasná odpovědnost a vymahatelnost

Důvěryhodný proces musí určit, kdo poskytne přístup, kdo volí metody, komu se předávají výsledky, kdo rozhoduje o dostatečnosti nápravných opatření a co nastane, zůstane-li vážný problém nevyřešen. Bez jasných cest pro hlášení a eskalaci se z hodnocení může stát jen doporučení, které vedení společnosti jednoduše odloží stranou.

Není to technické řešení problému sladění AI

Kontrola třetí stranou je mechanismus dohledu, nikoli technické řešení problému alignmentu – tedy zajištění, aby chování velmi schopné AI odpovídalo lidským cílům a omezením. Má ověřovat, zda jsou tvrzení firmy o rizicích a ochranách podložena důkazy.

V samostatném návrhu federální politiky OpenAI uvádí, že vývojáři pokročilé AI by měli vyhodnocovat a zmírňovat rizika spojená s kybernetickými schopnostmi, chemickými, biologickými, radiologickými a jadernými riziky (CBRN), ztrátou kontroly, nesouladem cílů a postupem k rekurzivnímu sebezdokonalování neboli RSI. Firma rovněž navrhuje zveřejňovat bezpečnostní rámce a zprávy o transparentnosti, ovšem s přiměřenými redakcemi kvůli bezpečnosti a obchodně citlivým informacím. 7

Externí hodnotitelé tedy mohou pomoci ověřit, zda jsou firemní testy a pojistky věrohodné. Sami o sobě ale nevyřeší riziko ztráty kontroly, nesouladu cílů ani rizika související s RSI.

V čem je návrh OpenAI jiný než „vestavění“ hodnotitelé Anthropicu

Šéf Anthropicu Dario Amodei prosazuje průběžnější model: nezávislí hodnotitelé by pracovali přímo uvnitř laboratoří s přístupem podobným zaměstnancům. Neměli by hodnotit jen hotové modely, ale také trénovací procesy, pravidla nasazování, interní ochrany a významné bezpečnostní incidenty. 1821

Anthropic oznámil spolupráci, v níž mají pracovníci Accenture působit uvnitř společnosti a prověřovat modely i firemní postupy. Firma zároveň připustila, že standardy pro přístup hodnotitelů a komunikaci jejich zjištění zatím nejsou stanovené. 1922

Rámec OpenAI se s tímto cílem překrývá v tom, že slibuje dřívější a hlubší kontrolu. Jeho veřejný popis se ale soustředí hlavně na technická posouzení v různých fázích vývoje. Zda nabídne dlouhodobý přístup srovnatelný s vestavěným dohledem, zatím z veřejně známých detailů neplyne. 5

Proč se mluví o společných standardech

Podle dostupných zpráv Anthropic, OpenAI a Google DeepMind jednaly o společném dobrovolném orgánu pro standardy bezpečnosti AI. 20 Sdílené standardy by mohly usnadnit porovnávání metod hodnocení, vymezování prahů rizika a nastavení jednotných očekávání pro hlášení incidentů.

Samotný standardizační orgán ale neodstraní střet zájmů ani automaticky nezavede sankce. Dobrovolný standard má největší váhu tehdy, když jej doplňuje transparentní měření, nezávislé ověřování a smysluplné důsledky při nedodržení.

Proč kritici zůstávají skeptičtí

Kritici většinou neodmítají externí testování jako takové. Zpochybňují, zda může systém řízený firmou poskytnout skutečný dohled. Vývojář totiž může stále vybírat hodnotitele, určovat rozsah přístupu, zpomalovat práci, žádat redakce nebo i po negativním výsledku pokračovat v nasazení.

Nejčastěji se zmiňují čtyři konkrétní podmínky:

• Financování a institucionální nezávislost: Hodnotitelé potřebují ochranu před finančním tlakem i před ukončením spolupráce kvůli nepříznivému závěru. 1734
• Včasný a dostatečný přístup: Testování musí zahrnovat relevantní modely, systémy a vývojová rozhodnutí dostatečně brzy na to, aby mohlo ovlivnit výsledek.
• Svoboda zveřejnit zjištění: Bezpečnostní redakce mohou být oprávněné, musejí však být úzce vymezené a řízené pravidly, která firmě nedovolí potlačit podstatu nepříznivého výsledku. 217
• Eskalace a následky: Kontrola musí mít cestu k lidem, kteří rozhodují, a předem určenou reakci pro případ, že riziko překročí stanovenou hranici.

Bývalý výzkumník OpenAI Daniel Kokotajlo kritizoval přední laboratoře za to, že se v boji o podíl na trhu pohybují příliš rychle. Jeho výhrada odráží širší obavu, že konkurenční a finanční tlak prodražuje každé dobrovolné zdržení. 3640 Jde o strukturální problém: pokud si společnosti jednostranně ponechají kontrolu nad přístupem, zveřejňováním i rozhodnutím o nasazení, mohou externí kontroly zlepšit množství dostupných důkazů, ale nemusí se změnit ve skutečně nezávislý dohled.

Co bude rozhodující

Návrh OpenAI posouvá bezpečnostní posuzování do fáze, kdy jeho výsledky mohou alespoň teoreticky ovlivnit trénování i uvedení modelu do provozu. Čtyři deklarované pilíře – nezávislost, přísnost, bezpečnost a jasná odpovědnost – jsou rozumným měřítkem. 5

Klíčové však bude, zda se promění v reálné a vymahatelné provozní podmínky: dlouhodobý přístup hodnotitelů, metodická svoboda, ochrana jejich práva informovat o výsledcích, průhledná pravidla pro redakce a věrohodný postup pro reakci na závažná zjištění. Bez těchto záruk mohou být rané externí kontroly užitečným red teamingem, ale nedosáhnou úrovně nezávislého dohledu, kterou kritici požadují.