Sampura nechce svěřit dohled nad AI pouze umělé inteligenci

Sampura Research je londýnská nezisková organizace zaměřená na bezpečnost umělé inteligence. Její hlavní otázka zní prakticky: kdo má rozhodovat, zda se stále schopnější systém AI chová správně a bezpečně? Odpovědí podle organizace není odstranit člověka z rozhodování, ale navrhnout systémy, v nichž si lidé a AI rozdělí dohled podle toho, v čem jsou nejspolehlivější.

Sampura uvádí, že získala počáteční grant ve výši 11 milionů dolarů od Coefficient Giving. Z toho 7 milionů dolarů připadá na první rok a další 4 miliony jsou přislíbeny. 1

Veřejné oznámení o vzniku organizace je datováno 25. srpna 2026, nikoli 24. srpna. Jako zakladatele uvádí Rishuba Jaina a Joshe Jacoba. Starší příspěvky na sociálních sítích zmiňovaly také Alexe Adamse, samotné oficiální oznámení však nepotvrzuje, že by všichni tři byli formálními spoluzakladateli. 112

Co Sampura myslí „rozhodčím“ AI

V terminologii Sampury může být rozhodčím člověk, model AI nebo hybridní systém, který posuzuje, zda je chování jiného systému správné a odpovídá zamýšleným hodnotám. Hodnoceným výstupem může být jediná odpověď, celý rozhovor nebo vícekroková trajektorie autonomního AI agenta. 1

To je důležité, protože dohled bývá často oddělován od samotných schopností modelu. Systém může vytvářet přesvědčivé odpovědi nebo zvládat složité úkoly, a přesto mást svého hodnotitele, využívat mezery v nastavení odměn nebo během delší série kroků provést nebezpečnou akci. Výzkum Sampury se zaměřuje právě na zlepšení nástrojů, které mají podobná selhání odhalovat.

Organizace tento přístup označuje jako doplňování člověka a AI pro škálovatelný dohled. Automatizace má převzít úkoly tam, kde je spolehlivá, zatímco člověk má zůstat zapojený v situacích vyžadujících úsudek, interpretaci nebo rozhodování citlivé na hodnoty. 1

Proč Sampura odmítá dohled pouze pomocí AI

AI je pro roli dozoru lákavá především proto, že je rychlejší a levnější provozovat ji ve velkém. Samotná rychlost ale podle Sampury ještě neznamená, že je hodnotitel důvěryhodný. Organizace upozorňuje zejména na několik rizik:

• Nerovnoměrné schopnosti: Výkon AI může být „zubatý“ — systém je v některých úkolech velmi silný, ale jinde nečekaně selhává.
• Překrývající se chyby: Lidé i AI mohou dělat podobné chyby, zejména pokud je hodnocený model optimalizován tak, aby hodnoticí proces obešel.
• Manipulace a spolčení: Kontrolovaný systém by se mohl pokusit automatizovaný dohled oklamat, ovlivnit nebo využít jeho slabin.
• Nové a nejednoznačné situace: U případů, které se výrazně liší od tréninkových dat, může být nutné lidské zvažování hodnot namísto mechanického použití naučených preferencí.

To neznamená, že lidští rozhodčí jsou vždy lepší. Znamená to, že je potřeba ověřit, jaká kombinace lidí a strojů funguje nejlépe pod tlakem, místo předpokladu, že všechny případy zvládne pouze člověk nebo pouze AI. 1

Jak chce Sampura své rozhodčí testovat

První šestiměsíční program se zaměří na různorodý žebříček hodnoticích systémů s více než 20 dílčími datovými sadami. Plánované oblasti zahrnují odhalování klamavého chování, kulturní zaujatosti a nebezpečných akcí AI agentů. 1

Testy nemají zůstat jen u statických otázek a odpovědí. Sampura chce vytvářet také situace, v nichž kontrolovaný model během posilovaného učení přímo optimalizuje své chování proti rozhodčímu. Takové nastavení má ukázat, zda hodnotitel obstojí i tehdy, když má posuzovaný systém motivaci najít a využít jeho slabiny. 1

Výzkum má porovnat tři základní přístupy:

1. Lidské rozhodčí, kteří posuzují chování přímo.
2. Čistě AI rozhodčí, kteří nabízejí vyšší rychlost a škálovatelnost.
3. Hybridní rozhodčí, kteří práci mezi člověka a AI rozdělují nebo ji koordinují.

Cílem není pouze dosáhnout vysokého skóre v jednom úzce vymezeném testu. Sampura chce najít hodnotitele, kteří zůstanou robustní napříč širokou sadou zkoušek a budou fungovat i ve chvíli, kdy se kontrolované modely naučí lépe hledat mezery v hodnocení. 1

Jak by hybridní dohled mohl fungovat

Sampura nastínila několik možných způsobů, jak lidský a strojový úsudek propojit:

• AI může odhadnout míru vlastní jistoty a nejasné případy předat člověku.
• Směrovací systém může celý úkol přidělit buď lidskému, nebo AI hodnotiteli.
• Složitý úkol lze rozdělit na menší části a jednotlivé podúkoly poslat lidem či strojům.
• Speciální rozhraní mohou lidským hodnotitelům usnadnit náročné posuzování a zvýšit jeho konzistentnost.

Lidská účast tak není chápána jako povinnost typu „všechno, nebo nic“, ale jako zdroj, s nímž je třeba efektivně nakládat. Některé případy může levně a spolehlivě zkontrolovat automatizace, jiné si zaslouží pomalejší lidskou pozornost. Důležitým kompromisem proto není jednoduché „člověk versus AI“, ale kombinace přesnosti, ceny, rychlosti a odolnosti vůči záměrnému obcházení kontroly. 1

Co chce organizace zkoumat později

Po vývoji lepších rozhodčích chce Sampura ověřit, zda dokážou omezit takzvané hackování odměn při trénování modelů — tedy situace, kdy systém optimalizuje měřitelný ukazatel způsobem, který obchází skutečný záměr hodnocení. Organizace chce také zkoumat, kolik lidského zapojení je potřeba, jak se má dohled přizpůsobit modelům, které se naučí jeho slabiny využívat, a zda lze rozhodčí využít k něčemu víc než jen ke klasifikaci výstupů. 1

To může zahrnovat také tvorbu nebo posuzování specifikací, instrukcí, hodnoticích rubrik a testovacích případů, podle nichž se systémy AI trénují a vyhodnocují. Sampura uvádí, že své výsledky plánuje zveřejňovat prostřednictvím odborných článků, kódu, datových sad a žebříčků. 1

Dostupné materiály podporují tento obecný program práce s datovými sadami, benchmarky, směrováním úkolů a nástroji pro podporu lidských hodnotitelů. Nepotvrzují však všechny konkrétnější názvy projektů, které se s organizací spojují — včetně výslovně pojmenované datové sady „forward-looking harm“ nebo potvrzené open-source platformy pro lidské hodnocení. Tyto projekty proto nelze vydávat za oznámené produkty.

Proč je nábor důležitý

Sampura uvádí, že v Londýně hledá první technické zaměstnance. Její program vyžaduje kombinaci znalostí strojového učení, návrhu evaluací, interakce člověka s počítačem, práce s daty a nasazování systémů. 1 Starší veřejné příspěvky hovořily o náboru nejméně šesti dalších výzkumníků a uváděly platy od 100 000 do 290 000 liber ročně. Tyto přesné částky však oficiální oznámení nezávisle nepotvrzuje. 1213

Celý obor hodnocení AI navíc soutěží o omezený počet specialistů. Inzerát organizace METR na pozici Member of Technical Staff pro provádění evaluací uvádí základní roční mzdu 285 548 až 503 116 dolarů a dodává, že u mimořádně zkušených kandidátů může být nabídka ještě vyšší. 18

Tento rozdíl ukazuje, jak náročný úkol Sampura před sebou má. Spolehlivý dohled vyžaduje současně technický výzkum i pečlivé hodnocení v reálných podmínkách — a organizace, které se těmto problémům věnují, soupeří o mnoho stejných lidí.

Součást širší obavy, že dohled zaostává

Vznik Sampury přichází v době rostoucích obav, že vývoj AI předběhne systémy určené k jeho kontrole. V červenci 2026 podepsalo více než 1 100 zaměstnanců velkých AI firem otevřený dopis, který žádal vládu USA o podporu mezinárodních technických a správních nástrojů. Ty by v případě potřeby umožnily záměrně zpomalit vývoj nejpokročilejších systémů AI. Dopis nepožadoval okamžité zastavení vývoje. 40

Agentura Reuters zároveň informovala o změnách ve vedení AI divize Googlu a odchodech významných inženýrů a výzkumníků do jiných firem a startupů. 49 Tyto události poskytují kontext pro vznik Sampury, samy o sobě ale nedokazují, že nezisková organizace vyřešila základní problém bezpečnosti AI.

Co může Sampura tvrdit dnes — a co zatím ne

Nejpevnější dostupné důkazy ukazují Sampuru jako ranou výzkumnou organizaci, která buduje měřicí a rozhodovací infrastrukturu pro dohled nad AI. Její benchmarky a hybridní metody hodnocení by v budoucnu mohly využít laboratoře vyvíjející AI, nezávislí hodnotitelé i další organizace testující chování modelů. 1

To ale není totéž jako důkaz, že Sampura dokáže kontrolovat nejpokročilejší systémy AI. Jejím bezprostředním úkolem je zkoumat, jak dohled navrhnout a testovat v situaci, kdy je kontrolovaný model schopný, adaptivní a potenciálně motivovaný hodnocení obejít.

Základní sázka Sampury je tedy poměrně jasná: škálovatelná bezpečnost bude vyžadovat automatizaci — ne však takovou, která odstraní člověka z nejdůležitějších rozhodnutí.