呢件事之所以重要,係因為Apple一直有個大難題:佢哋自家嘅裝置AI模型用緊「稀疏架構」,即係每次推理時只有一部份參數會激活。喺WWDC 2026上,Apple公佈咗一個約200億參數嘅裝置模型,但每次推理實際用嘅只係10億到40億參數 。而PrismML嘅做法係令全部270億參數同時激活——唔使call server——咁樣Siri、寫作工具同各種智能App體驗就可以有大提升,同時又唔使犧牲私隱或者一定要連線 。報導仲話Apple自己一直搞唔掂壓縮內部AI模型而唔影響效能,所以搵外援好似PrismML咁係好 strategic 嘅一步 。
PrismML嘅突破在於原生1-bit(三元)權重表示,而且係成個神經網絡都用,唔係得幾層:
全網絡三元權重。 每個權重都限制喺{-1, 0, +1}三個值,即係大約1.58 bit per parameter 。呢個同傳統嘅16-bit (FP16) 或者8-bit量化好唔同,後者仍然用浮點數或者整數範圍。
由零開始就係1-bit訓練。 傳統壓縮係先有個完整精度模型,然後量化,好多時會損失準確度。但PrismML嘅模型係由頭到尾都用1-bit精度訓練 。佢哋話「三元邏輯係直接嵌入網絡架構」,唔係事後先加上去 。
驚人嘅密度。 PrismML嘅1-bit Bonsai 8B模型將8.2億個參數壓縮到得1.15 GB——大約係傳統16-bit模型嘅1/14——但喺標準benchmark上嘅準確度同全精度模型有得揮 。佢哋壓縮Qwen 3.6嘅27B模型,都係塞晒入iPhone記憶體 。
能源效益。 1-bit表示比全精度模型大約節省5倍能源,個8B模型喺iPhone 17 Pro上每秒可以跑超過40個tokens——快過一般實時使用嘅需要 。
但要留意: PrismML嘅宣稱仲未俾更廣泛嘅AI研究社群獨立驗證過。呢間公司喺2026年3月31日先由隱身模式走出嚟,由Khosla Ventures同Cerberus Ventures投資咗1625萬美元,啲模型用Apache 2.0開源放出嚟,應該之後會有更多外部驗證 。
呢件事之所以重要,係因為Apple一直有個大難題:佢哋自家嘅裝置AI模型用緊「稀疏架構」,即係每次推理時只有一部份參數會激活。喺WWDC 2026上,Apple公佈咗一個約200億參數嘅裝置模型,但每次推理實際用嘅只係10億到40億參數 。而PrismML嘅做法係令全部270億參數同時激活——唔使call server——咁樣Siri、寫作工具同各種智能App體驗就可以有大提升,同時又唔使犧牲私隱或者一定要連線 。報導仲話Apple自己一直搞唔掂壓縮內部AI模型而唔影響效能,所以搵外援好似PrismML咁係好 strategic 嘅一步 。
PrismML嘅突破在於原生1-bit(三元)權重表示,而且係成個神經網絡都用,唔係得幾層:
全網絡三元權重。 每個權重都限制喺{-1, 0, +1}三個值,即係大約1.58 bit per parameter 。呢個同傳統嘅16-bit (FP16) 或者8-bit量化好唔同,後者仍然用浮點數或者整數範圍。
由零開始就係1-bit訓練。 傳統壓縮係先有個完整精度模型,然後量化,好多時會損失準確度。但PrismML嘅模型係由頭到尾都用1-bit精度訓練 。佢哋話「三元邏輯係直接嵌入網絡架構」,唔係事後先加上去 。
驚人嘅密度。 PrismML嘅1-bit Bonsai 8B模型將8.2億個參數壓縮到得1.15 GB——大約係傳統16-bit模型嘅1/14——但喺標準benchmark上嘅準確度同全精度模型有得揮 。佢哋壓縮Qwen 3.6嘅27B模型,都係塞晒入iPhone記憶體 。
能源效益。 1-bit表示比全精度模型大約節省5倍能源,個8B模型喺iPhone 17 Pro上每秒可以跑超過40個tokens——快過一般實時使用嘅需要 。
但要留意: PrismML嘅宣稱仲未俾更廣泛嘅AI研究社群獨立驗證過。呢間公司喺2026年3月31日先由隱身模式走出嚟,由Khosla Ventures同Cerberus Ventures投資咗1625萬美元,啲模型用Apache 2.0開源放出嚟,應該之後會有更多外部驗證 。