實際上覺得「層次唔同」嘅原因,好大機會係唔係單單改咗模型大細,而係:① 更強嘅基礎模型、② 為長期 Agent 嘅訓練、③ 大脈絡、④ 工具使用同自我驗證、⑤ 改善咗嘅課後訓練,呢幾樣嘢一齊發揮作用。至於係咪 MoE、參數數目、數據結構、強化學習算法呢啲技術細節就冇公開,所以再深入就只能估。
實際上覺得「層次唔同」嘅原因,好大機會係唔係單單改咗模型大細,而係:① 更強嘅基礎模型、② 為長期 Agent 嘅訓練、③ 大脈絡、④ 工具使用同自我驗證、⑤ 改善咗嘅課後訓練,呢幾樣嘢一齊發揮作用。至於係咪 MoE、參數數目、數據結構、強化學習算法呢啲技術細節就冇公開,所以再深入就只能估。