ForgeKernel提交项于2026年10月27日被报道登上CANNBench昇腾平台三条硬件赛道的榜首。这一结果值得关注,但公开报道中的成绩并非同一组数字:两份报道给出了不同总分,现有材料也未完整说明评测规则和提交结果。
3
19
20
榜单结果说明了什么
Pandaily称,ForgeKernel在CANNBench公开的昇腾算子榜单上三项均列第一。报道列出的赛道是950PR、910C和950DT;榜单上的提交者仅显示为用户名,没有点名开发者。
3
另一篇报道把第三条赛道称为A3,而非910C。现有来源没有解释两种称呼为何不同,因此不宜在没有说明的情况下将它们视为完全等同。
19
Pandaily引用的摘录称,当前官方任务包为v2.0.0,覆盖60个算子、分为五个难度等级。但该摘录无法证实任务包包含1,200个测试用例,也没有充分佐证编译、数值正确性和性能检查的具体规则,或三项检查分别占0.2、0.3和0.5的说法。
3
不同报道的成绩对不上
一篇CSDN文章称,ForgeKernel在950DT赛道得分3,903.96,第二名为2,846.61;相对基线的加速比为1.523倍,并提交了60个算子中的55个。在950PR赛道,该文给出的ForgeKernel得分为3,736.44,第二名为3,552.34,报告的基线加速比为1.886倍。
20
另一篇10月30日发布的报道列出不同总分:950DT为4,010.75、950PR为4,165.94、A3为4,341.16;对应的加速比分别为1.533倍、1.638倍和1.898倍。该报道还称,950DT成绩领先第二名27.8%。
19
这些报道没有提供一份日期明确、能够调和分数差异的共同成绩表。因此,应将这些数字分别归于各自报道,而不应拼成一份确定无疑的榜单快照。现有摘录也没有给出每条赛道完整的算子及测试用例通过数、所有赛道的几何平均加速比,或950PR与CANNBot PyPTOPro S2 frontier的完整对比。
19
20
别把旧版CANNBench数据混进来
另一篇论文报告了CANNBot-CAKE在旧版CANN-Bench v1.1任务包上的结果:涉及53个算子、1,060个标准测试用例和4,240个隐藏测试用例。这些是CANNBot-CAKE的成绩,不是ForgeKernel在v2.0.0上的结果,不能用来补充ForgeKernel未公布的通过数或隐藏测试成绩。
17
现有来源也无法证明隐藏评测只用于v1.1,或提供ForgeKernel按算子划分的评测日志以及10月27日当天完整的榜单更新记录。这些细节仍未得到现有材料的确认。
3
17
榜单领先不等于证明全程自动开发
10月27日的榜单报道提到了ForgeKernel提交项,却没有注明具体开发者。CSDN文章后来将该系统归于面壁智能,并称其还在另一项面向英伟达的基准测试中领先;这些属于该文的说法,并非对开发者身份或另一项测试结果的独立核实。
3
20
榜单第一能够说明相关提交在榜单评测中排名领先,但仅凭名次无法证明算子是从头到尾、未经人工调优而自动生成的。现有证据支持的是:ForgeKernel被报道在三条赛道领跑;至于具体评测细节、开发者身份和自动化程度,仍有待确认。
3
19
20