BootLoops 1.0 dává vědeckým výpočtům s AI jasnější kontrolu

BootLoops 1.0 je open-source nástroj, který pomáhá jazykovým modelům provádět přesné vědecké výpočty a průběžně jejich výsledky kontrolovat. Vyvinul ho harvardský fyzik Matthew Schwartz ve spolupráci s modelem Claude. Nástroj ale není vázaný na jediný model. Jeho cílem není zaručit správnost každé odpovědi od AI, nýbrž usnadnit ověřování konkrétních výsledků. 112

Jak BootLoops výpočty kontroluje

BootLoops propojuje vědecký software s postupy, které stanovují, co je třeba splnit, aby se výsledek považoval za ověřený. Patří k nim porovnání s nezávislým výpočetním postupem na bodech, které nebyly použity při odvozování výsledku, a takzvaná pozitivní kontrola — test, který má ukázat, že kontrolní postup dokáže odhalit chybný výsledek. Pokyny se věnují také původu dat a výpočtů: nástroj, který pomohl výsledek získat, by neměl tentýž výsledek sám potvrdit. 211

Takový přístup se hodí pro úlohy s přesně definovaným výstupem, například pro výpočty v matematické fyzice. Může doložit, že výsledek prošel stanovenými testy. Neznamená to však, že jsou automaticky správná všechna tvrzení vytvořená modelem nebo že je samotná výzkumná otázka důležitá. 25

Výsledky práce s Claudem

Schwartzův tým uvádí výpočty 30 integrálů z matematické fyziky. Patnáct z nich podle něj přineslo nové výsledky, včetně integrálů typu Feynmanových integrálů s eliptickými funkcemi. Práce zahrnovala také řešení toho, čemu Schwartz říká Watsonův „poslední problém“ — výpočtu navazujícího na dřívější práci matematika George Watsona. 14164

Podle zveřejněných informací širší tříměsíční úsilí vedlo k 36 vědeckým rukopisům, na nichž se podílelo 19 spoluautorů v 18 oborech, včetně ekologie a populační genetiky. Jde o uváděné výstupy výzkumu, nikoli o potvrzení, že každý výsledek už prošel nezávislým ověřením. Schwartz uvedl, že několik výsledků se stále kontrolovalo. 3154

Proč jsou lidské znalosti pořád důležité

Schwartz pro nesoulad mezi potřebami vědců a tím, co současné jazykové modely umějí dobře, používá pojem „impedanční nepřizpůsobení“. Modely mohou být užitečné u vymezených výpočetních úloh, kde jsou jasně dané zadání i způsoby kontroly. Vědecká práce ale zahrnuje také rozhodování o tom, které otázky mají smysl, a posuzování významu získaných odpovědí. 15

Podle Schwartze Claude nacházel souvislosti napříč obory, které mohly být technicky správné, ale z vědeckého hlediska nepříliš zajímavé. Odborníci z jednotlivých oblastí proto pomáhali zaměřovat práci na otázky, které jsou pro dané obory podstatné. Rozdíl je důležitý: výpočetní ověření může ukázat, zda výsledek prošel konkrétními testy. Vědecký úsudek pomáhá rozhodnout, co počítat a jak výsledek vykládat. 5

Co BootLoops potvrzuje — a co ne

BootLoops nabízí způsob, jak stavět výzkum s podporou AI na testovatelných úlohách, nezávislých kontrolách a spolupráci s odborníky. Uváděné výsledky naznačují možnosti tohoto přístupu, ale nejsou obecnou zárukou správnosti ani náhradou dalšího ověřování. Ani výpočet, který prošel kontrolou, sám o sobě nestačí jako podklad pro rozhodnutí s vysokými důsledky: lidské posouzení vyžadují také samotná otázka, předpoklady i možné následky. 245