Gemini for Mac、音声操作に対応。インテリジェント音声入力と画面認識機能の仕組み

日本時間2026年7月29日（現地時間7月29日）、GoogleはmacOS向けGeminiアプリに2つの新しい音声機能を追加したと発表しました。すべてのユーザーが利用できる**インテリジェント音声入力（Intelligent Dictation）と、オプトイン方式の画面認識モード（Screen Awareness）**です。これにより、Macの画面上でGeminiと自然に対話できる新たな体験が始まります。本記事ではその全容を詳しく解説します。

発表の概要

Googleは、Gemini for macOSアプリに新たなプレス＆ホールド式の音声操作レイヤーを導入。デスクトップ上の任意のウィンドウからFnキーを長押しすることで、Geminiに音声で話しかけられるようになりました。このアップデートには、2つの異なるモードが搭載されています。

2つのモードとその仕組み

1. インテリジェント音声入力（デフォルト、常時ON）

• Fnキーを長押しするだけで、どのアプリケーションからでも自然に話しかけられます。
• Geminiはあなたの言葉をクリーンで洗練されたテキストに変換。句読点や大文字小文字を自動で整え、「えーと」「あのー」といったフィラーワードや、言い間違えの修正も自動的に除去します。
• 出力されたテキストは、使用中のアプリやテキストフィールドに直接インライン表示されます。macOS標準の音声入力機能の、よりスマートな代替として設計されています。

2. 画面認識モード（オプトイン）

• この機能を利用するには、手動で有効化する必要があります（オプトイン方式）。
• 有効にすると、Geminiは画面共有の許可を通じて、デスクトップに表示されている内容を「認識」できるようになります。
• 「このドキュメントを要約して」や「その段落を編集して」など、画面上のコンテンツを参照した音声コマンドを発行でき、Geminiが表示されている内容に基づいてアクションを実行します。
• The Vergeは、この機能を「Geminiが開いているウィンドウ内でタスクを実行できるようにする」と表現しています。

プライバシーに関するトレードオフ

• インテリジェント音声入力：音声データはGoogleのクラウドで処理されます。標準的なGeminiプライバシーポリシーが適用されます（チャットはデフォルトで18ヶ月保存、3ヶ月/36ヶ月への変更や自動削除も可能。オプトインしたチャットは人間によるレビューの対象となる場合があります）。
• 画面認識モード：こちらはより大きなプライバシー上の考慮が必要です。Geminiに画面録画の権限を付与する必要があるためです。オプトイン方式であるため、明示的に有効にしない限り、画面情報が共有されることはありません。ただし、有効にすると、Googleはアクティブなウィンドウの内容を見ることができるようになり、これは他のAI画面読み取りツールと同様の懸念（機密情報の誤共有、認証情報の露呈など）を引き起こします。Googleは主要なアクションを実行する前に確認を求めるとしていますが、画面データ自体はGoogleのサーバーで処理されます。

比較：Gemini vs ChatGPT Desktop vs Apple Intelligence

機能	Gemini macOS (7月29日)	ChatGPT Desktop (7月23日)	Apple Intelligence (Siri)
起動方法	Fnキー長押し	アプリ内音声ボタン / キーボードショートカット	「Hey Siri」またはボタン
対象範囲	システム全体、全ウィンドウ	ChatGPTアプリ内 (Work/Codexエージェント)	Siri経由でシステム全体
画面認識	あり（オプトイン）	あり（Work/Codexエージェント、macOSのAppshots経由）	限定的（一部アプリの画面内コンテキスト）
音声モデル	Geminiの文字起こし + 推論	GPT-Live-1（双方向、割り込み可能）	オンデバイスSiriモデル
双方向会話	音声入力重視（全二重ではない）	全二重（発話と同時にリスニング）	一回限りのクエリ
デスクトップ自動化	画面認識コマンド経由	エージェント直接制御 (Codex, Work)	ショートカット + アプリインテント
対応プラットフォーム	macOSのみ（今回のリリース）	macOS + Windows	macOS, iOS, iPadOS (Appleエコシステム)

主な違い： ChatGPT DesktopのGPT-Live-1は真の会話型音声モードです。同時に聞くことと話すことができ、割り込みも処理し、リアルタイムでAIエージェントを指示できます。一方、Geminiのアプローチはよりタスク指向で、流暢な双方向チャットというよりも、音声入力と画面認識コマンドに重点を置いています。Apple Intelligenceは深くオンデバイスで動作しシステムに統合されていますが、GeminiやChatGPTのような生成能力やアプリ間の自律性は備えていません。

提供条件の詳細

新音声コントロール（2026年7月29日）

• 言語： まずは英語から。追加言語の公式リストは未発表。
• アプリバージョン： 最新のGemini for macOSアプリ（特定のバージョン番号はなし、順次アップデート）。
• グローバル展開： 7月29日から全世界で展開開始。地域によっては数日かかる場合あり。
• 年齢制限： 18歳以上（標準的なGeminiの年齢ポリシー）。
• サブスクリプション： インテリジェント音声入力は無料。画面認識モードもローンチ時は無料。どちらの音声機能もGoogle AI Ultraや有料プランは不要。

Gemini Spark（2026年6月30日提供開始）

• 機能： デバイスの電源がオフでもGoogle Cloud上で24時間365日動作し続ける永続的なAIエージェント。スケジュールとスキル機能を使い、Gmail、Docs、カレンダー、ファイル、サードパーティサービス間でタスクを自動化する。
• 言語： ローンチ時は英語のみ。
• アプリバージョン： 最新のGemini for macOSアプリが必要（ベータ版）。SparkはAndroid、iOS、ウェブでも動作。
• グローバル展開： 限定ベータ。6月30日時点では米国のみ。7月29日にはインドでの展開も別途報告。
• 年齢制限： 18歳以上。
• サブスクリプション： Google AI Ultra加入者のみ（有料プラン）。無料のGeminiでは利用不可。
• 音声コントロールとの主な違い： Sparkはバックグラウンドで動作するプロアクティブな自動化エージェントであるのに対し、音声コントロールはリアルタイムの入力手段（リアクティブ、オンデマンド）。Sparkはクラウド上で自律的に動作するが、音声コントロールはユーザーがMacの前にいて能動的に話す必要がある。Sparkは有料だが、音声コントロールは無料。