Gemini for Mac、音声操作に対応。インテリジェント音声入力と画面認識機能の仕組み

発表の概要

Googleは、Gemini for macOSアプリに新たなプレス＆ホールド式の音声操作レイヤーを導入。デスクトップ上の任意のウィンドウからFnキーを長押しすることで、Geminiに音声で話しかけられるようになりました。このアップデートには、2つの異なるモードが搭載されています。

2つのモードとその仕組み

1. インテリジェント音声入力（デフォルト、常時ON）

• Fnキーを長押しするだけで、どのアプリケーションからでも自然に話しかけられます。
• Geminiはあなたの言葉をクリーンで洗練されたテキストに変換。句読点や大文字小文字を自動で整え、「えーと」「あのー」といったフィラーワードや、言い間違えの修正も自動的に除去します。
• 出力されたテキストは、使用中のアプリやテキストフィールドに直接インライン表示されます。macOS標準の音声入力機能の、よりスマートな代替として設計されています。

2. 画面認識モード（オプトイン）

• この機能を利用するには、手動で有効化する必要があります（オプトイン方式）。
• 有効にすると、Geminiは画面共有の許可を通じて、デスクトップに表示されている内容を「認識」できるようになります。
• 「このドキュメントを要約して」や「その段落を編集して」など、画面上のコンテンツを参照した音声コマンドを発行でき、Geminiが表示されている内容に基づいてアクションを実行します。
• The Vergeは、この機能を「Geminiが開いているウィンドウ内でタスクを実行できるようにする」と表現しています。

プライバシーに関するトレードオフ

• インテリジェント音声入力：音声データはGoogleのクラウドで処理されます。標準的なGeminiプライバシーポリシーが適用されます（チャットはデフォルトで18ヶ月保存、3ヶ月/36ヶ月への変更や自動削除も可能。オプトインしたチャットは人間によるレビューの対象となる場合があります）。
• 画面認識モード：こちらはより大きなプライバシー上の考慮が必要です。Geminiに画面録画の権限を付与する必要があるためです。オプトイン方式であるため、明示的に有効にしない限り、画面情報が共有されることはありません。ただし、有効にすると、Googleはアクティブなウィンドウの内容を見ることができるようになり、これは他のAI画面読み取りツールと同様の懸念（機密情報の誤共有、認証情報の露呈など）を引き起こします。Googleは主要なアクションを実行する前に確認を求めるとしていますが、画面データ自体はGoogleのサーバーで処理されます。

比較：Gemini vs ChatGPT Desktop vs Apple Intelligence

主な違い： ChatGPT DesktopのGPT-Live-1は真の会話型音声モードです。同時に聞くことと話すことができ、割り込みも処理し、リアルタイムでAIエージェントを指示できます。一方、Geminiのアプローチはよりタスク指向で、流暢な双方向チャットというよりも、音声入力と画面認識コマンドに重点を置いています。Apple Intelligenceは深くオンデバイスで動作しシステムに統合されていますが、GeminiやChatGPTのような生成能力やアプリ間の自律性は備えていません。

提供条件の詳細

新音声コントロール（2026年7月29日）

• 言語： まずは英語から。追加言語の公式リストは未発表。
• アプリバージョン： 最新のGemini for macOSアプリ（特定のバージョン番号はなし、順次アップデート）。
• グローバル展開： 7月29日から全世界で展開開始。地域によっては数日かかる場合あり。
• 年齢制限： 18歳以上（標準的なGeminiの年齢ポリシー）。
• サブスクリプション： インテリジェント音声入力は無料。画面認識モードもローンチ時は無料。どちらの音声機能もGoogle AI Ultraや有料プランは不要。

Gemini Spark（2026年6月30日提供開始）

• 機能： デバイスの電源がオフでもGoogle Cloud上で24時間365日動作し続ける永続的なAIエージェント。スケジュールとスキル機能を使い、Gmail、Docs、カレンダー、ファイル、サードパーティサービス間でタスクを自動化する。
• 言語： ローンチ時は英語のみ。
• アプリバージョン： 最新のGemini for macOSアプリが必要（ベータ版）。SparkはAndroid、iOS、ウェブでも動作。
• グローバル展開： 限定ベータ。6月30日時点では米国のみ。7月29日にはインドでの展開も別途報告。
• 年齢制限： 18歳以上。
• サブスクリプション： Google AI Ultra加入者のみ（有料プラン）。無料のGeminiでは利用不可。
• 音声コントロールとの主な違い： Sparkはバックグラウンドで動作するプロアクティブな自動化エージェントであるのに対し、音声コントロールはリアルタイムの入力手段（リアクティブ、オンデマンド）。Sparkはクラウド上で自律的に動作するが、音声コントロールはユーザーがMacの前にいて能動的に話す必要がある。Sparkは有料だが、音声コントロールは無料。