Секрет SIA — в разделении труда. Внутри петли самоулучшения работают два агента :
Feedback-Agent может выполнять два типа обновлений :
Главное утверждение авторов заключается в том, что комбинация обоих рычагов даёт значительно лучшие результаты, чем итеративное улучшение одной лишь обвязки — и это подтвердилось на всех использованных бенчмарках .
Исследователи протестировали SIA в трёх кардинально разных доменах: классификация китайских уголовных обвинений по тексту дела, низкоуровневая оптимизация GPU-ядер и шумоподавление данных секвенирования РНК одиночных клеток .
| Домен | Метрика | Результат |
|---|---|---|
| Китайская юридическая классификация (LawBench) | Прирост точности | +56.6% по сравнению с исходным уровнем |
| Оптимизация ядер GPU (Triton на H100) | Сокращение времени выполнения | Снижение времени выполнения на 91.9% |
| Шумоподавление РНК единичных клеток | Улучшение качества | Прирост на 502% относительно начальной точки |
Важное уточнение: для LawBench в доступных версиях статьи фигурирует именно прирост в 56.6% относительно базовой модели, а не отдельная абсолютная цифра точности . Аналогично, сокращение времени выполнения на 91.9% и 502% улучшения в задаче денойзинга РНК подтверждены в разных вариантах препринта .
Публичный анонс Hexo Labs описывает SIA как «open source самоулучшающийся ИИ, который ускоряет путь к сверхразуму» . В пресс-релизе также упоминается «ускорение в 350 раз» согласно некоему бенчмарку OpenAI, однако в процитированных научных источниках это утверждение не подтверждается: там приводятся только три вышеуказанных доменных результата .
Hexo Labs утверждает, что SIA — «первый в мире агент, который учится сам, а не на действиях человека» . Научная новизна, согласно статье, заключается именно в двойном механизме обновления: правка и обвязки, и весов одного агента .
Информация о деталях грантовой программы в данном материале не опирается на предоставленные научные источники, поэтому утверждения о $10 млн фонда и прочих коммерческих аспектах в настоящий момент не могут считаться верифицированными.