ForgeKernelのエントリーが、CANNBenchの昇騰(Ascend)向け3部門すべてで首位になったと報じられました。ただし、公開されている報告のスコアは一致していません。評価条件の全容や開発元も明らかではなく、現時点で確実に言えるのは「首位と報じられた」という点までです。
3
19
20
3部門で首位と報道
Pandailyは2026年10月27日、CANNのオープンソースコミュニティが運営するAI生成昇騰向け演算子の公開ベンチマーク「CANNBench」で、ForgeKernelのエントリーが全3部門の首位に立ったと伝えました。部門は950PR、910C、950DTと記されています。投稿者は開発者名ではなく、ランキング上のユーザー名で示されています。
3
一方、別の報告では3つ目の部門が「910C」ではなく「A3」と表記されています。資料からは名称の違いが説明されていないため、両者を同じものとして扱うのは避ける必要があります。
19
Pandailyの記事抜粋によると、公式タスクのパッケージはバージョン2.0.0で、60種類の演算子を5段階の難易度で評価します。ただし、テストケースが1,200件あるという説明や、コンパイル・数値精度・性能の各チェックと、その重みが0.2、0.3、0.5だという情報は、ここで確認できる抜粋では裏付けられていません。
3
報告ごとに異なるスコア
CSDNの投稿は、950DTでForgeKernelが3,903.96点、2位が2,846.61点だったと報告しています。基準性能に対する速度比は1.523倍で、60演算子のうち55演算子を提出したとも記載されています。950PRについては、ForgeKernelが3,736.44点、2位が3,552.34点で、基準性能に対する速度比は1.886倍としています。
20
これとは別に、10月30日付の報告は、950DTで4,010.75点、950PRで4,165.94点、A3で4,341.16点という異なる数値を掲載しています。基準性能に対する速度比はそれぞれ1.533倍、1.638倍、1.898倍で、950DTでは2位を27.8%上回ったとしています。
19
両報告は、数値の違いを照合できる共通のスコア表や、同じ時点の記録を示していません。そのため、各数値はそれぞれの報告に帰属させ、ひとつの確定したランキングとしてまとめないのが妥当です。また、全演算子・全テストケースの合格数、全部門の幾何平均速度向上率、950PRにおけるCANNBot PyPTOPro S2 frontierとの比較も、確認できる資料にはそろっていません。
19
20
古いCANNBenchの評価結果とは別
別の論文には、旧版のCANN-Bench v1.1を使ったCANNBot-CAKEの評価結果が掲載されています。対象は53種類の演算子で、標準テストは1,060件、非公開テストは4,240件です。これはCANNBot-CAKEの旧パッケージでの結果であり、ForgeKernelのv2.0.0のスコアや合格数を補うものではありません。
17
また、非公開評価がv1.1だけに設けられていたかどうかや、ForgeKernelの演算子別ログ、10月27日の更新記録の全容も、ここで確認できる資料からは判断できません。
3
17
首位だけでは自動開発の証明にならない
10月27日のランキング報道では、ForgeKernelの投稿者は特定の開発者名ではなくユーザー名で示されています。後日のCSDN投稿はModelBestのシステムだと説明し、別のNVIDIA向けベンチマークでも首位だったと主張していますが、いずれもその投稿に記された情報であり、開発者や別ベンチマークの結果を独立に確認するものではありません。
3
20
ベンチマークで首位になったことは、その評価において当該エントリーが上位だったことを示します。しかし、それだけで演算子が人手の調整なしに一貫して生成されたと証明できるわけではありません。確認できるのは3部門で首位と報じられたことまでで、詳細な評価条件、開発元、自動化の度合いには不明点が残ります。
3
19
20