在模型能力方面,框架新增了圖片輸入支援,使裝置端模型能夠處理視覺資訊。同時,它也開放了在 Private Cloud Compute(PCC) 上進行伺服器端模型推論的功能,讓開發者能處理需要更強運算能力或更大上下文(支援 32K 上下文窗口 )的任務 。此外,框架內建了幾個實用的工具,包括利用視覺框架(Vision)支援的 BarcodeReaderTool(條碼讀取工具)和 OCRTool(光學字元辨識工具),以及一個以 Spotlight 為基礎的搜尋工具,用來實現完全在本機上運行的檢索增強生成(RAG)。
蘋果還推出了全新的 Core AI 框架,專門針對將裝置端 AI 模型整合到 App 中進行最佳化,充分利用 Apple Silicon 的效能 。開發工具鏈也同步更新,現在開發者可以使用 fm 命令列工具和 Python SDK 來建構具備 AI 能力的腳本 。對於 Swift 開發者來說,現在只需 短短三行 Swift 程式碼,就能呼叫裝置端的基礎模型 。
蘋果與 Google 的合作在此次 WWDC 上顯得更為緊密。這次的合作不僅停留在技術表面的串接,更是深入到了蘋果的原生開發框架中。
開發者現在可以透過 Foundation Models 框架中的 LanguageModel 協議,直接呼叫 Google Gemini 的雲端模型。這意味著,對於開發者來說,Gemini 就像是另一個原生的 AI 提供者,使用體驗與呼叫蘋果自己的模型無異。Google 也同步推出了 Firebase AI Logic,讓開發者能夠在不管理後端伺服器的情況下,輕鬆地將 Gemini 加入 App 的功能中 。
在幕後,這項合作的規模更為驚人。根據報導,蘋果每年向 Google 支付大約 10 億美元,換取一個專為蘋果客製化、擁有1.2 兆個參數的 Gemini 模型,而這個模型正是重建版 Siri 的智慧核心 。
同時,蘋果也賦予使用者更多選擇權。未來在裝置上,使用者將可以自主選擇要使用 Gemini、ChatGPT 還是 Claude 作為預設的輔助 AI 服務。
Xcode 27 的更新將 AI 輔助開發推向了一個新的層次,正式邁入「代理式編碼」(Agentic Coding)的時代。
蘋果不再滿足於單純的程式碼片段建議,而是將來自 Anthropic(Claude)、Google(Gemini)和 OpenAI(ChatGPT) 的高階編碼代理直接整合到 Xcode 的開發流程中 。這些 AI 代理能夠勝任更複雜的任務,例如編寫測試、進行互動式的開發規劃,甚至在蘋果全新的 Device Hub 中自主地測試想法 。
其中,Gemini 在 Xcode 中的整合尤為重要,它能直接協助開發者編寫、審查和修正程式碼 。這不僅大幅提升了開發效率,也體現了蘋果與 Google 在開發工具層面的深度合作。
為了鼓勵更多獨立開發者與小型團隊投入 AI 應用的開發,蘋果宣布了一項極具吸引力的定價策略。
凡是在 App Store 上首次下載量低於 200 萬次的開發者,將可以在 Private Cloud Compute 上免費使用 Apple Foundation Models。這項政策直接免除了絕大多數小型開發者使用雲端 AI 推理的 API 費用,實質上移除了基礎設施成本的障礙 。
這項優惠適用於已加入蘋果 App Store 小型企業方案(App Store Small Business Program) 的開發者 ,無疑將激發更多創新的 AI 應用誕生。
在模型能力方面,框架新增了圖片輸入支援,使裝置端模型能夠處理視覺資訊。同時,它也開放了在 Private Cloud Compute(PCC) 上進行伺服器端模型推論的功能,讓開發者能處理需要更強運算能力或更大上下文(支援 32K 上下文窗口 )的任務 。此外,框架內建了幾個實用的工具,包括利用視覺框架(Vision)支援的 BarcodeReaderTool(條碼讀取工具)和 OCRTool(光學字元辨識工具),以及一個以 Spotlight 為基礎的搜尋工具,用來實現完全在本機上運行的檢索增強生成(RAG)。
蘋果還推出了全新的 Core AI 框架,專門針對將裝置端 AI 模型整合到 App 中進行最佳化,充分利用 Apple Silicon 的效能 。開發工具鏈也同步更新,現在開發者可以使用 fm 命令列工具和 Python SDK 來建構具備 AI 能力的腳本 。對於 Swift 開發者來說,現在只需 短短三行 Swift 程式碼,就能呼叫裝置端的基礎模型 。
蘋果與 Google 的合作在此次 WWDC 上顯得更為緊密。這次的合作不僅停留在技術表面的串接,更是深入到了蘋果的原生開發框架中。
開發者現在可以透過 Foundation Models 框架中的 LanguageModel 協議,直接呼叫 Google Gemini 的雲端模型。這意味著,對於開發者來說,Gemini 就像是另一個原生的 AI 提供者,使用體驗與呼叫蘋果自己的模型無異。Google 也同步推出了 Firebase AI Logic,讓開發者能夠在不管理後端伺服器的情況下,輕鬆地將 Gemini 加入 App 的功能中 。
在幕後,這項合作的規模更為驚人。根據報導,蘋果每年向 Google 支付大約 10 億美元,換取一個專為蘋果客製化、擁有1.2 兆個參數的 Gemini 模型,而這個模型正是重建版 Siri 的智慧核心 。
同時,蘋果也賦予使用者更多選擇權。未來在裝置上,使用者將可以自主選擇要使用 Gemini、ChatGPT 還是 Claude 作為預設的輔助 AI 服務。
Xcode 27 的更新將 AI 輔助開發推向了一個新的層次,正式邁入「代理式編碼」(Agentic Coding)的時代。
蘋果不再滿足於單純的程式碼片段建議,而是將來自 Anthropic(Claude)、Google(Gemini)和 OpenAI(ChatGPT) 的高階編碼代理直接整合到 Xcode 的開發流程中 。這些 AI 代理能夠勝任更複雜的任務,例如編寫測試、進行互動式的開發規劃,甚至在蘋果全新的 Device Hub 中自主地測試想法 。
其中,Gemini 在 Xcode 中的整合尤為重要,它能直接協助開發者編寫、審查和修正程式碼 。這不僅大幅提升了開發效率,也體現了蘋果與 Google 在開發工具層面的深度合作。
為了鼓勵更多獨立開發者與小型團隊投入 AI 應用的開發,蘋果宣布了一項極具吸引力的定價策略。
凡是在 App Store 上首次下載量低於 200 萬次的開發者,將可以在 Private Cloud Compute 上免費使用 Apple Foundation Models。這項政策直接免除了絕大多數小型開發者使用雲端 AI 推理的 API 費用,實質上移除了基礎設施成本的障礙 。
這項優惠適用於已加入蘋果 App Store 小型企業方案(App Store Small Business Program) 的開發者 ,無疑將激發更多創新的 AI 應用誕生。