ZAYA1-8B от Zyphra: почему 760 млн активных параметров привлекли внимание

Zyphra описывает ZAYA1 8B как MoE модель с 8,4 млрд параметров всего и 760 млн активных параметров, ориентированную на рассуждения, математику и код [1][6].