V paralelních 48hodinových bězích s více cíli dosáhl Mythos úspěšnosti 26,7 procenta a Opus 4.8 22,6 procenta. Anthropic tyto výsledky porovnává s oborovým standardem 10 až 15 procent. Když Mythos pracoval na jednotlivých cílech samostatně ve 24hodinových bězích, dosáhl úspěšnosti 35,1 procenta.
Průměr ale zakrývá značné rozdíly mezi jednotlivými cíli. Úspěšnost se pohybovala od nuly až po 90 procent. Výsledek proto nelze chápat jako důkaz, že model stejně dobře zvládne jakýkoli protein nebo biologický problém.
Celkem bylo testováno 1 320 navržených proteinů. Na zamýšlené cíle se jich navázalo 354, což odpovídá celkové úspěšnosti 26,8 procenta. Jediným cílem, u něhož nebyl nalezen žádný funkční vazebný protein, byl MBP.
Návrhy obdržela laboratoř Adaptyv Bio anonymně. Následně syntetizovala příslušnou DNA, vyjádřila proteiny a měřila jejich vazbu pomocí povrchové plazmonové rezonance, tedy laboratorní metody sledující interakci mezi molekulami. Testy byly opakovány a podléhaly kontrole kvality. Návrhy nezávisle vyráběla a testovala také společnost Twist Bioscience.
Jde o podstatně přesvědčivější ověření než pouhé srovnání počítačových predikcí. Stále však potvrzuje pouze to, že se molekuly dokázaly navázat na konkrétní cíl. Neříká, zda jej umějí správně ovlivnit, zda jsou selektivní, stabilní, bezpečné nebo použitelné v lidském organismu.
Anthropic poskytl modelu úvodní zadání o přibližně 30 000 tokenech, které připravil odborník na návrh proteinů. Poté už byla lidská účast minimální. Claude měl samostatně:
Experiment zahrnoval zavedené testovací cíle, ale také dva novější cíle z odborných soutěží. Ty měly snížit riziko, že model pouze zopakuje dříve zveřejněné příklady nebo napodobí známá řešení.
Anthropic uvádí, že pro nejméně šest cílů vznikly vazebné molekuly s vysokou afinitou, tedy se silnou vazbou. U nejméně čtyř cílů měly výsledky dosahovat nebo překonávat dříve zveřejněné hodnoty. Některé z nejlepších návrhů se údajně vázaly několikanásobně silněji než dosud publikované nejlepší výsledky.
U cíle RBX1 činila hlášená úspěšnost Claude přibližně 40 procent, zatímco u dřívějších účastníků soutěže dosahovala 3,7 procenta. Anthropic tvrdí také to, že model překonal předchozí vítězný návrh.
Vazba na cílový protein je důležitý první krok, nikoli konečný výsledek. Pro skutečné léčivo je nutné ověřit například:
Anthropic sám experiment popisuje jako práci na raných fázích vývoje léčiv, nikoli jako dokončený systém pro objevování léčiv.
Martin Shkreli zpochybnil některé farmaceutické interpretace výsledků. Tvrdil, že řada uváděných afinit je pro významné léčebné využití příliš nízká a že se program zaměřil především na extracelulární cíle, tedy proteiny mimo buňky. K takovým cílům je snazší proteinové vazebné molekuly prakticky dopravit než k proteinům ukrytým uvnitř buněk.
Jde o relevantní omezení, přesto nevyvrací samotné laboratorní zjištění, že se velká část navržených proteinů na své cíle skutečně navázala. Kritika spíše upozorňuje na rozdíl mezi laboratorním úspěchem a farmaceutickou použitelností.
Anthropic představuje návrh vazebných proteinů a analýzu chemických dat jako součást budoucího širšího systému, který by mohl urychlit vývoj léčiv napříč různými typy molekul a nástrojů. Podle společnosti nejsou zbývající překážky pouze otázkou schopností modelů; významnou roli hrají také laboratorní kapacity, provozní procesy a pravidla pro bezpečný přístup.
Nejpokročilejší biologické schopnosti zatím nejsou volně dostupné. Anthropic uvedl, že chce vytvořit program přístupu pro prověřené vědce a organizace. Pro obecně dostupnou práci v oblasti biologických věd má být nejsilnějším modelem Opus 5.
Autonomní pracovní postup, který urychlí neškodný návrh proteinů, může zároveň snížit množství odborných znalostí a času potřebných k nebezpečné biologické práci. Anthropic proto pokročilé úlohy v oblasti biologie na svých nejvýkonnějších modelech omezuje a naznačuje, že vhodnější bude kontrolovaný přístup pro prověřené uživatele než plošné zpřístupnění.
Hlavní výzvou je najít rovnováhu mezi podporou legitimního výzkumu léčiv a prevencí pomoci při návrhu patogenů, toxických látek nebo jiných biologických aktivit s dvojím využitím. Úspěch v návrhu vazebných proteinů tak není jen technickou demonstrací, ale také testem toho, jak bude podobná schopnost spravována.
Experiment ukázal, že Claude dokáže mimořádně účinně koordinovat existující nástroje pro návrh proteinů a dosáhnout v laboratorních testech úspěšnosti výrazně nad hodnotou, kterou Anthropic uvádí jako běžný oborový standard. Neprokázal však autonomní vytvoření léčiva, vyřešení problému s cílením proteinů uvnitř buněk ani odstranění dlouhé experimentální, výrobní a regulační cesty od vazebné molekuly k medicínsky použitelnému léku.
V paralelních 48hodinových bězích s více cíli dosáhl Mythos úspěšnosti 26,7 procenta a Opus 4.8 22,6 procenta. Anthropic tyto výsledky porovnává s oborovým standardem 10 až 15 procent. Když Mythos pracoval na jednotlivých cílech samostatně ve 24hodinových bězích, dosáhl úspěšnosti 35,1 procenta.
Průměr ale zakrývá značné rozdíly mezi jednotlivými cíli. Úspěšnost se pohybovala od nuly až po 90 procent. Výsledek proto nelze chápat jako důkaz, že model stejně dobře zvládne jakýkoli protein nebo biologický problém.
Celkem bylo testováno 1 320 navržených proteinů. Na zamýšlené cíle se jich navázalo 354, což odpovídá celkové úspěšnosti 26,8 procenta. Jediným cílem, u něhož nebyl nalezen žádný funkční vazebný protein, byl MBP.
Návrhy obdržela laboratoř Adaptyv Bio anonymně. Následně syntetizovala příslušnou DNA, vyjádřila proteiny a měřila jejich vazbu pomocí povrchové plazmonové rezonance, tedy laboratorní metody sledující interakci mezi molekulami. Testy byly opakovány a podléhaly kontrole kvality. Návrhy nezávisle vyráběla a testovala také společnost Twist Bioscience.
Jde o podstatně přesvědčivější ověření než pouhé srovnání počítačových predikcí. Stále však potvrzuje pouze to, že se molekuly dokázaly navázat na konkrétní cíl. Neříká, zda jej umějí správně ovlivnit, zda jsou selektivní, stabilní, bezpečné nebo použitelné v lidském organismu.
Anthropic poskytl modelu úvodní zadání o přibližně 30 000 tokenech, které připravil odborník na návrh proteinů. Poté už byla lidská účast minimální. Claude měl samostatně:
Experiment zahrnoval zavedené testovací cíle, ale také dva novější cíle z odborných soutěží. Ty měly snížit riziko, že model pouze zopakuje dříve zveřejněné příklady nebo napodobí známá řešení.
Anthropic uvádí, že pro nejméně šest cílů vznikly vazebné molekuly s vysokou afinitou, tedy se silnou vazbou. U nejméně čtyř cílů měly výsledky dosahovat nebo překonávat dříve zveřejněné hodnoty. Některé z nejlepších návrhů se údajně vázaly několikanásobně silněji než dosud publikované nejlepší výsledky.
U cíle RBX1 činila hlášená úspěšnost Claude přibližně 40 procent, zatímco u dřívějších účastníků soutěže dosahovala 3,7 procenta. Anthropic tvrdí také to, že model překonal předchozí vítězný návrh.
Vazba na cílový protein je důležitý první krok, nikoli konečný výsledek. Pro skutečné léčivo je nutné ověřit například:
Anthropic sám experiment popisuje jako práci na raných fázích vývoje léčiv, nikoli jako dokončený systém pro objevování léčiv.
Martin Shkreli zpochybnil některé farmaceutické interpretace výsledků. Tvrdil, že řada uváděných afinit je pro významné léčebné využití příliš nízká a že se program zaměřil především na extracelulární cíle, tedy proteiny mimo buňky. K takovým cílům je snazší proteinové vazebné molekuly prakticky dopravit než k proteinům ukrytým uvnitř buněk.
Jde o relevantní omezení, přesto nevyvrací samotné laboratorní zjištění, že se velká část navržených proteinů na své cíle skutečně navázala. Kritika spíše upozorňuje na rozdíl mezi laboratorním úspěchem a farmaceutickou použitelností.
Anthropic představuje návrh vazebných proteinů a analýzu chemických dat jako součást budoucího širšího systému, který by mohl urychlit vývoj léčiv napříč různými typy molekul a nástrojů. Podle společnosti nejsou zbývající překážky pouze otázkou schopností modelů; významnou roli hrají také laboratorní kapacity, provozní procesy a pravidla pro bezpečný přístup.
Nejpokročilejší biologické schopnosti zatím nejsou volně dostupné. Anthropic uvedl, že chce vytvořit program přístupu pro prověřené vědce a organizace. Pro obecně dostupnou práci v oblasti biologických věd má být nejsilnějším modelem Opus 5.
Autonomní pracovní postup, který urychlí neškodný návrh proteinů, může zároveň snížit množství odborných znalostí a času potřebných k nebezpečné biologické práci. Anthropic proto pokročilé úlohy v oblasti biologie na svých nejvýkonnějších modelech omezuje a naznačuje, že vhodnější bude kontrolovaný přístup pro prověřené uživatele než plošné zpřístupnění.
Hlavní výzvou je najít rovnováhu mezi podporou legitimního výzkumu léčiv a prevencí pomoci při návrhu patogenů, toxických látek nebo jiných biologických aktivit s dvojím využitím. Úspěch v návrhu vazebných proteinů tak není jen technickou demonstrací, ale také testem toho, jak bude podobná schopnost spravována.
Experiment ukázal, že Claude dokáže mimořádně účinně koordinovat existující nástroje pro návrh proteinů a dosáhnout v laboratorních testech úspěšnosti výrazně nad hodnotou, kterou Anthropic uvádí jako běžný oborový standard. Neprokázal však autonomní vytvoření léčiva, vyřešení problému s cílením proteinů uvnitř buněk ani odstranění dlouhé experimentální, výrobní a regulační cesty od vazebné molekuly k medicínsky použitelnému léku.