呢個Feedback-Agent有兩個大招可以出:
研究團隊好強調,佢哋試勻晒咁多個基準測試,發現「同時改Code又改權重」嘅效果,係遠遠好過「淨係改Code」嘅傳統做法 。
Hexo Labs嘅論文喺三個完全唔同嘅領域度驗證咗SIA嘅實力。結果可以話係誇張到嚇親人。
| 應用領域 | 成績指標 | 實測結果 |
|---|---|---|
| 中文法律罪名分類 (LawBench) | 準確度提升 | 比基線大幅提升 56.6% |
| GPU核心程式優化 | 運行時間減幅 | 運行時間減低咗 91.9% |
| 單細胞 RNA 去噪 | 效能增益 | 表現提升咗 502% |
需要留意嘅係:論文嘅資料來源顯示,法律測試嘅56.6%係「增益」幅度,而唔係一個最終嘅絕對準確率數字 。至於其他嘅91.9%時間縮減同502%嘅去噪增益,喺論文嘅唔同版本度都有提及 。
Hexo Labs喺公關新聞稿入面,形容SIA係一個可以「加速超級智能進程」嘅開源AI 。雖然有部分媒體報道提過「加速350倍」呢個數字,但喺現階段公開嘅學術論文入面,暫時未見有明確嘅測試數據去支持呢個講法;目前論文展示嘅實證,主要就係上面提到嘅嗰三個重量級基準測試 。
市面上好多Agent框架,都仲係停留喺「執下個Prompt」或者「改下流程」嘅階段。SIA最大嘅唔同,就係佢連模型個「腦」(權重)都敢搞。
Hexo Labs為SIA戴上嘅光環係「全球首個唔靠人類動作,靠自己學習嘅Agent」。而喺科研角度,佢哋真正嘅新穎之處,在於證明咗「同時改Harness同Weights」呢條路線係行得通嘅 。
呢個Feedback-Agent有兩個大招可以出:
研究團隊好強調,佢哋試勻晒咁多個基準測試,發現「同時改Code又改權重」嘅效果,係遠遠好過「淨係改Code」嘅傳統做法 。
Hexo Labs嘅論文喺三個完全唔同嘅領域度驗證咗SIA嘅實力。結果可以話係誇張到嚇親人。
| 應用領域 | 成績指標 | 實測結果 |
|---|---|---|
| 中文法律罪名分類 (LawBench) | 準確度提升 | 比基線大幅提升 56.6% |
| GPU核心程式優化 | 運行時間減幅 | 運行時間減低咗 91.9% |
| 單細胞 RNA 去噪 | 效能增益 | 表現提升咗 502% |
需要留意嘅係:論文嘅資料來源顯示,法律測試嘅56.6%係「增益」幅度,而唔係一個最終嘅絕對準確率數字 。至於其他嘅91.9%時間縮減同502%嘅去噪增益,喺論文嘅唔同版本度都有提及 。
Hexo Labs喺公關新聞稿入面,形容SIA係一個可以「加速超級智能進程」嘅開源AI 。雖然有部分媒體報道提過「加速350倍」呢個數字,但喺現階段公開嘅學術論文入面,暫時未見有明確嘅測試數據去支持呢個講法;目前論文展示嘅實證,主要就係上面提到嘅嗰三個重量級基準測試 。
市面上好多Agent框架,都仲係停留喺「執下個Prompt」或者「改下流程」嘅階段。SIA最大嘅唔同,就係佢連模型個「腦」(權重)都敢搞。
Hexo Labs為SIA戴上嘅光環係「全球首個唔靠人類動作,靠自己學習嘅Agent」。而喺科研角度,佢哋真正嘅新穎之處,在於證明咗「同時改Harness同Weights」呢條路線係行得通嘅 。