Gemini Mac 版新功能详解：智能听写与屏幕感知语音控制

2026年7月29日（周三），Google 为 macOS 版 Gemini 应用宣布了两项新的语音能力：面向所有用户的智能听写模式，以及一项可选用的屏幕感知模式，该模式能让 Gemini 获得你桌面内容的上下文视觉信息 。以下是完整解读。

宣布了什么

Google 为 macOS 版 Gemini 应用推出了一层按持式语音交互界面，用户只需在任何桌面窗口中长按 Fn 键即可通过与 Gemini 对话 。此次更新提供了两种不同的模式。

两种模式及其工作原理

1. 智能听写（默认开启，始终可用）

• 在任何应用中长按 Fn 键，然后自然说话 。
• Gemini 会将你的语音转录为整洁、精炼的文本，自动进行格式化——包括处理标点、大写，甚至去除填充词（如“嗯”、“啊”以及句中修正）。
• 输出结果会直接内联显示在你正在使用的应用或文本输入框中。它被设计为 macOS 内置听写功能的更智能替代方案 。

2. 屏幕感知（可选开启）

• 你必须手动启用此功能（仅限选择加入） 。
• 启用后，Gemini 可以通过屏幕共享权限“看到”你屏幕上的内容 。
• 你可以发出引用屏幕上内容的语音指令——例如“总结这个文档”或“编辑那个段落”——然后 Gemini 会对可见内容执行操作 。
• The Verge 将此项描述为让 Gemini “在你打开的窗口中执行任务” 。

隐私权衡

• 智能听写的音频在 Google 的云端处理；适用标准的 Gemini 隐私政策（聊天记录默认保存18个月，可选择3/36个月或自动删除，已选择加入的聊天内容可能有人工审核）。
• 屏幕感知是更重大的隐私考量：它需要授予 Gemini 屏幕录制权限。由于其采用选择加入机制，除非你明确开启，否则不会共享任何内容 。一旦开启，Google 可以看到你活动窗口的内容，这引发了与任何 AI 屏幕阅读工具同类的担忧（意外泄露敏感信息、凭证可见性等）。Google 表示在采取重大操作前会与你确认，但屏幕数据本身是在 Google 的服务器上处理的 。

对比：Gemini vs ChatGPT 桌面版 vs Apple Intelligence

功能	Gemini macOS（7月29日）	ChatGPT 桌面版（7月23日）	Apple Intelligence (Siri)
触发方式	长按 Fn 键	应用内语音按钮 / 键盘快捷键	语音唤醒“嘿 Siri”或按钮
适用范围	全系统，任意窗口	ChatGPT 应用内（Work/Codex 代理）	通过 Siri 实现全系统
屏幕感知	是，可选启用	是（通过 Work/Codex 代理，macOS上的 Appshots）	有限（部分应用支持屏幕上下文）
语音模型	Gemini 的转录 + 推理	GPT-Live-1（双向，可打断）	设备端 Siri 模型
双向对话	专注于听写；非全双工	全双工（同时听和说）	一次性查询
桌面自动化	通过屏幕感知指令	直接代理控制（Codex, Work）	快捷指令 + 应用意图
平台	仅 macOS（本周）	macOS + Windows	macOS, iOS, iPadOS (Apple 生态系统)

关键区别： ChatGPT 桌面版的 GPT-Live-1 是一种真正的对话式语音模式——它可以同时听和说，处理打断，并实时指导 AI 代理 。Gemini 的方法更侧重于任务导向：听写加上屏幕感知指令，而不是流畅的来回对话。Apple Intelligence 深度集成在设备端和系统中，但缺乏 Gemini 或 ChatGPT 的生成深度和跨应用自主能力。

可用性详情

全新语音控制（2026年7月29日）

• 语言： 初始仅支持英语；尚未公布支持的其他语言列表 。
• 应用版本： 最新版 macOS 版 Gemini 应用（滚动更新，未发布具体版本号）。
• 全球发布： 从7月29日开始全球推送，但可能需要数天时间覆盖所有地区 。
• 年龄限制： 18岁以上（标准 Gemini 年龄政策）。
• 订阅： 智能听写免费；屏幕感知功能在发布时也是免费的——这两项语音功能均无需 Google AI Ultra 或付费套餐 。

Gemini Spark（已于2026年6月30日发布）

• 功能说明： 一个全天候（24/7）的后台 AI 代理，在 Google Cloud 上运行，即使你的设备处于关闭状态也能工作。它使用“计划”和“技能”自动完成跨 Gmail、文档、日历、文件以及第三方服务的任务 。
• 语言： 发布时仅支持英语 。
• 应用版本： 需要最新版 macOS 版 Gemini 应用（Beta 版）；Spark 也适用于 Android、iOS 和网页版 。
• 全球发布： 有限 Beta 版——截至6月30日仅限美国 。7月29日另有报道称已在印度发布 。
• 年龄限制： 18岁以上。
• 订阅： 仅限 Google AI Ultra 订阅用户（付费套餐）。免费版 Gemini 不可用 。
• 与语音控制的关键区别： Spark 是一个后台代理（主动式，全天候自动化），而语音控制是一种实时输入方式（响应式，按需使用）。Spark 在云端自主运行；语音控制要求你在 Mac 前并主动说话。Spark 需要付费；语音控制免费。