AnswersPublished14 sources
Sampura Research: nová laboratoř chce změnit způsob, jakým AI kontroluje sama sebe
Sampura Research je londýnská nezisková organizace, kterou založili bývalí výzkumníci Google DeepMind Rishub Jain a Josh Jacob. Organizace získala od Coefficient Giving příslib financování ve výši 11 milionů dolarů, z toho 7 milionů na první rok.
PublikovalUpraveno pomocí GPT-5.6 LunaObrázky vytvořeny pomocí GPT Image 1.5
Research answer
Key takeaways
- Sampura Research je londýnská nezisková organizace, kterou založili bývalí výzkumníci Google DeepMind Rishub Jain a Josh Jacob.
- Organizace získala od Coefficient Giving příslib financování ve výši 11 milionů dolarů, z toho 7 milionů na první rok.
- Jejím cílem je vytvořit hybridní „rozhodčí“, kteří budou kombinovat schopnosti lidí a AI při posuzování chování modelů.
- Sampura chce zveřejňovat datasety, kód, odborné práce a průběžně aktualizovaný žebříček více než 20 bezpečnostních poddatasetů.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Sampura Research, the London based nonprofit launched on August 24, 2026 by former Google DeepMind researchers Rishub Jain, Joshua J. Article summary: Sampura Research is a London AI safety nonprofit founded by former Google DeepMind researchers Rishub Jain and Josh Jacob—not, based on its own announcement, by Alex Adams.. Topic tags: general web, ai safety, openai, llm, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and
Sampura Research je londýnská nezisková organizace zaměřená na bezpečnost umělé inteligence. Založili ji bývalí výzkumníci Google DeepMind Rishub Jain a Josh Jacob. Vlastní oznámení organizace neuvádí Alexe Adamse jako spoluzakladatele; zmiňuje ho pouze v souvislosti se zpětnou vazbou k oznámení. Veřejně Sampura zahájila činnost 25. srpna 2026 a získala od Coefficient Giving počáteční příslib 11 milionů dolarů — 7 milionů pro první rok a další 4 miliony přislíbené do budoucna. 4
Proč Sampura nechce spoléhat jen na AI, která kontroluje AI
V technologickém odvětví se stále častěji používá takzvaný škálovatelný dohled. Místo toho, aby člověk kontroloval každý výstup modelu, posuzuje jeho odpovědi jiný velký jazykový model — takzvaný „soudce“ nebo „rozhodčí“. Takový systém je rychlejší a levnější než čistě lidská kontrola.
Sampura ale tvrdí, že lidé mají i nadále několik důležitých, odlišných předností. Mohou například zachytit nepravidelné a obtížně předvídatelné chyby modelů, které se někdy označují jako „zubaté“ schopnosti AI. Člověk zároveň může představovat nezávislou kontrolu v situaci, kdy by se kontrolovaný model a automatický hodnotitel naučili vzájemně obcházet bezpečnostní pravidla. Lidský úsudek je podle Sampury důležitý také při posuzování nových nebo měnících se společenských hodnot. 4
Nejde tedy o návrat k ručnímu prověřování každé odpovědi. Ambicí je zapojit člověka jen tam, kde má jeho úsudek nejvyšší bezpečnostní přínos.
Co znamená hybridní „rozhodčí“
Sampura používá pojem judge, tedy rozhodčí, pro člověka, AI nebo jejich kombinaci, která posuzuje, zda je chování AI správné a v souladu s požadovanými pravidly. Může jít o běžnou odpověď v konverzaci i o celou sérii kroků autonomního AI agenta.
Navrhovaný systém má několik částí:
- AI rozhodčí by měl odhadovat vlastní míru jistoty a nejisté případy předávat člověku.
- Takzvané routery by rozdělovaly jednotlivé úkoly nebo jejich části mezi člověka a AI podle toho, kdo je zvládne bezpečněji či efektivněji.
- Lidé by dostávali specializovanou podporu AI přizpůsobenou konkrétnímu úkolu.
Výsledkem má být pružnější model dohledu: automatizace tam, kde funguje dobře, a lidská kontrola tam, kde může odhalit slepá místa algoritmu. 4
První test: veřejný žebříček a datasety
Během prvních šesti měsíců chce Sampura vytvořit veřejný a průběžně aktualizovaný žebříček kvality AI i lidských hodnotitelů. Zahrnout má více než 20 poddat asetů zaměřených mimo jiné na odhalování klamání, kulturní předsudky a nebezpečné jednání AI agentů. 4
Organizace nechce testovat pouze statické příklady. Hodnotitele hodlá prověřovat také v situaci, kdy se kontrolovaný model během posilovaného učení snaží optimalizovat své chování přímo proti nim. To je důležitý test takzvaného reward hackingu — situace, kdy model začne obcházet skutečný záměr hodnocení a hledá způsob, jak získat vysoké skóre bez skutečně bezpečného chování.
Sampura uvádí, že chce zveřejňovat odborné práce, zdrojový kód, datasety i výsledkové tabulky. Otevřený přístup by mohl umožnit nezávislé ověřování a srovnávání jednotlivých metod. 4
Od odhalování chyb k předvídání škod
Výzkumný program nemá řešit pouze klasický scénář „vzpurné AI“. Oznámený záběr zahrnuje také předsudky, nebezpečné interakce s dětmi nebo vznik nezdravé závislosti na AI společnících.
V další fázi se pozornost nemá soustředit jen na posuzování hotových odpovědí. Sampura chce zkoumat také tvorbu a hodnocení samotných instrukcí, hodnoticích kritérií a testovacích případů. To by mohlo pomoci odhalit rizika ještě před nasazením modelu.
Je však důležité rozlišovat mezi výzkumným plánem a prokázanou schopností AI bezpečně kontrolovat. Sampura zatím představuje výzkumný program, nikoli ověřený systém, který by dokázal pokročilé modely spolehlivě „udržet na uzdě“. 4
Rozhodne až nasazení v praxi
Skutečná hodnota projektu se ukáže teprve při praktickém použití. Sampura chce například měřit, zda lepší hodnotitelé skutečně omezí reward hacking, kdy je nutné je kvůli vývoji modelů znovu trénovat a jak vyvážit náklady, rychlost a kvalitu lidského vstupu.
První nasazení by mohlo proběhnout formou zátěžových testů s nezávislými externími hodnotiteli. Později organizace cílí na využití při trénování, evaluaci a monitorování nejpokročilejších modelů v předních AI laboratořích. 4
Proč je důležitý nábor lidí
Celý plán naráží na praktický problém: odborníků, kteří dokážou pokročilé modely důkladně hodnotit, je málo. Organizace METR například u pozice zaměřené na provádění evaluací uvádí základní roční mzdu 285 548 až 503 116 dolarů a připouští i vyšší odměnu pro mimořádné kandidáty. 9
Sampura proto v Londýně hledá zakládající technický tým. Pro tvrzení, že chce najmout nejméně šest lidí s ročním platem 100 000 až 290 000 liber, ale dostupné primární zdroje neposkytují dostatečné potvrzení. Vlastní oznámení organizace pouze uvádí, že nabírá zakládající technické pracovníky v Londýně. 4
Technická pojistka, ne brzda vývoje
Projekt přichází v době, kdy více než 1 100 lidí z oblasti vývoje takzvané frontier AI podepsalo dopis požadující mezinárodní schopnost záměrně zpomalit vývoj, pokud by začal postupovat rychleji, než jej lidé dokážou bezpečně kontrolovat. 1
Sampura může k takové debatě přispět technickým základem: důvěryhodnějšími, auditovatelnými a vzájemně porovnatelnými evaluacemi. Sama ale nemůže vytvořit právní pravomoci, mezinárodní dohodu, přístup k modelům ani nástroje pro vymáhání pravidel. Její práce proto může doplňovat správu a regulaci AI, nikoli je nahradit.
Co z toho nevyplývá
Odchod Rishuba Jaina z Google DeepMind byl popisován v souvislosti s širší sérií odchodů z laboratoře. Tvrzení, že DeepMind přišel během šesti dnů o pět klíčových výzkumníků, však podle dostupných podkladů pochází především z méně spolehlivých sekundárních zpráv a nelze jej považovat za nezávisle potvrzený fakt. 5
Stejně tak dostupné důkazy nepotvrzují široké tvrzení, že AI společnosti „nedokážou udržet pod kontrolou to, co vytvořily“. Opatrnější závěr zní: spolehlivý dohled nad stále schopnějšími modely zatím není prokázaný, odborníků na evaluaci je nedostatek a Sampura se pokouší lidský dohled rozšířit a posílit — nikoli předpokládat, že AI může bezpečně dohlížet sama na sebe.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Sampura Research: nová laboratoř chce změnit způsob, jakým AI kontroluje sama sebe"?
Sampura Research je londýnská nezisková organizace, kterou založili bývalí výzkumníci Google DeepMind Rishub Jain a Josh Jacob.
What are the key points to validate first?
Sampura Research je londýnská nezisková organizace, kterou založili bývalí výzkumníci Google DeepMind Rishub Jain a Josh Jacob. Organizace získala od Coefficient Giving příslib financování ve výši 11 milionů dolarů, z toho 7 milionů na první rok.
What should I do next in practice?
Jejím cílem je vytvořit hybridní „rozhodčí“, kteří budou kombinovat schopnosti lidí a AI při posuzování chování modelů.