Gemini for Mac 語音操控全面升級：智慧聽寫與螢幕感知功能深入解析

在 2026 年 7 月 29 日（星期三），Google 為 macOS 上的 Gemini 應用程式推出兩項全新語音功能：面向所有用戶的智慧聽寫模式，以及可選擇啟用的螢幕感知模式，後者讓 Gemini 能「看見」你桌面上的內容。 以下是完整解析。

宣布內容

Google 為 Gemini macOS 應用程式推出了按住 Fn 鍵啟動語音互動的新層級，讓用戶可以在任何桌面視窗中，直接長按 Fn 鍵 與 Gemini 交談。 此次更新包含兩種截然不同的模式。

兩種模式及運作方式

1. 智慧聽寫（預設、常駐開啟）

• 在任何應用程式中長按 Fn 鍵，然後自然說話。
• Gemini 會將你的話語轉錄為乾淨、精煉的文字，並自動處理標點符號、大小寫，甚至移除語助詞（如「嗯」、「啊」以及語句中段的修正）。
• 輸出內容會直接插入你正在使用的任何應用程式或文字欄位中。設計上它是 macOS 內建聽寫功能更智慧的替代方案。

2. 螢幕感知（可選開啟）

• 你必須手動啟用此功能（僅限選擇加入）。
• 一旦啟用，Gemini 就能透過螢幕分享權限「看見」你螢幕上的內容。
• 你可以發出涉及螢幕畫面的語音指令，例如「摘要這份文件」或「編輯那段文字」，Gemini 會對可見的內容採取行動。
• The Verge 將此功能描述為讓 Gemini「在你開啟的視窗內執行任務」。

隱私權取捨

• 智慧聽寫：音訊在 Google 的雲端進行處理；適用標準 Gemini 隱私政策（對話記錄預設保留 18 個月，可設定為 3/36 個月或自動刪除，且已選擇加入的對話可能由人工審查）。
• 螢幕感知：這是較大的隱私考量：它需要你授予 Gemini 螢幕錄製權限。由於此功能是可選擇開啟的，除非你明確開啟，否則不會分享任何內容。 一旦啟用，Google 就能看見你作用中視窗的內容，這會引發與任何 AI 螢幕讀取工具同類的擔憂（如意外分享敏感資訊、憑證可視性等）。Google 表示在執行重大操作前會先與你確認，但螢幕資料本身是在 Google 的伺服器上處理。

對比：Gemini vs ChatGPT Desktop vs Apple Intelligence

功能	Gemini macOS（7月29日）	ChatGPT Desktop（7月23日）	Apple Intelligence（Siri）
啟動方式	長按 Fn 鍵	應用程式內語音按鈕 / 鍵盤快捷鍵	「Hey Siri」或按鈕
使用範圍	系統層級，任何視窗	ChatGPT 應用程式內（Work/Codex 代理）	系統層級，透過 Siri
螢幕感知	有，可選擇開啟	有（透過 Work/Codex 代理及 macOS 上的 Appshots）	有限（部分應用程式內的螢幕情境）
語音模型	Gemini 的轉錄 + 推理	GPT-Live-1（雙向、可中斷）	裝置端 Siri 模型
雙向對話	以聽寫為主；非全雙工	全雙工（同時說話與聆聽）	一次性查詢
桌面自動化	透過螢幕感知指令	直接代理控制（Codex、Work）	Shortcuts + 應用程式意圖
平台	僅 macOS（本週）	macOS + Windows	macOS、iOS、iPadOS（Apple 生態系）

關鍵差異： ChatGPT Desktop 的 GPT-Live-1 是真正的對話式語音模式，它可以同時聆聽和說話、處理中斷，並即時指揮 AI 代理。 Gemini 的方式更偏向任務導向：以聽寫加上螢幕感知指令為主，而非流暢的來回對話。Apple Intelligence 深度整合於裝置端與系統，但缺乏 Gemini 或 ChatGPT 的生成深度與跨應用程式自主性。

上市細節

新的語音控制（2026年7月29日）

• 語言： 初始僅英文；官方尚未公布其他語言的支援列表。
• 應用程式版本： 最新的 Gemini for macOS 應用程式（滾動更新，未公布特定版本號碼）。
• 全球推送： 自 7月29日 起全球逐步推送，但可能需要數天時間才能到達所有地區。
• 年齡限制： 18歲以上（標準 Gemini 年齡政策）。
• 訂閱方案： 智慧聽寫免費；螢幕感知在推出時也是免費的——這兩項語音功能均無需 Google AI Ultra 或付費方案。

Gemini Spark（2026年6月30日推出）

• 它是什麼： 一個 24/7 持續運作的 AI 代理，在 Google Cloud 上執行，即使你的裝置關機也能運行。它透過排程和技能自動化處理 Gmail、Docs、Calendar、檔案及第三方服務的任務。
• 語言： 推出時僅支援英文。
• 應用程式版本： 需要最新的 Gemini for macOS 應用程式（測試版）；Spark 也適用於 Android、iOS 和網頁版。
• 全球推送： 限量測試——截至 6月30日 僅限美國。 另於 7月29日 報導已在印度推出。
• 年齡限制： 18歲以上。
• 訂閱方案： 僅限 Google AI Ultra 訂閱用戶（付費方案）。免費版 Gemini 無法使用。
• 與語音控制的關鍵差異： Spark 是一個背景代理（主動、24/7 自動化），而語音控制是一種即時輸入方式（被動、隨需應變）。Spark 在雲端自主運行；語音控制則需要你坐在 Mac 前並主動說話。Spark 需要付費；語音控制則免費。