Magic Pointer от Google: курсор, который понимает, на что вы указываете

Google экспериментирует с новым способом взаимодействия с искусственным интеллектом на компьютерах — превращая курсор мыши в полноценного AI‑ассистента. Функция получила название Magic Pointer и использует модели Gemini, чтобы понимать, на какой элемент экрана указывает пользователь и что он хочет с ним сделать.

Идея проста: вместо того чтобы копировать текст в чат‑бот и писать длинные инструкции, можно просто указать на объект на экране и дать короткую команду. Google сообщает, что технология появится в браузере Chrome и станет глубоко интегрированной частью будущих ноутбуков Googlebook, построенных вокруг Gemini‑интеллекта.

Как работает Magic Pointer

Magic Pointer использует положение курсора как источник контекста для Gemini. Когда пользователь наводит указатель на текст, изображение, таблицу или элемент веб‑страницы, система анализирует визуальный и смысловой контекст вокруг курсора, чтобы понять, о чём идёт речь.

Подход описывают как модель «показал и сказал». Пользователь указывает на объект и даёт короткую инструкцию, например:

• «Сделай краткое содержание»
• «Сравни эти товары»
• «Переведи этот текст»
• «Преврати эту таблицу в график»

Gemini интерпретирует и саму команду, и контекст на экране, после чего выполняет задачу. Исследователи Google называют это способом избавиться от «AI‑крюка» (AI detour) — когда пользователь вынужден копировать данные в чат‑бот и объяснять, что именно с ними нужно сделать.

Что можно делать с Magic Pointer в Chrome

Первой площадкой для внедрения функции станет браузер Chrome. Пользователь сможет навести курсор на конкретную часть страницы и задать Gemini вопрос именно об этом фрагменте.

Среди заявленных возможностей:

• сравнение товаров прямо на страницах интернет‑магазинов
• краткое содержание длинных статей или PDF
• перевод текста и конвертация валют
• извлечение данных из таблиц и построение графиков
• контекстные подсказки в зависимости от того, над чем находится курсор

В некоторых сценариях функция может активироваться, если пользователь слегка «потрясёт» курсором. Тогда система предложит быстрые действия для содержимого под указателем. Например, если курсор находится на дате в письме, Gemini может предложить создать событие в календаре.

По сообщениям СМИ, функция уже начинает появляться в десктопной версии Chrome для Windows и macOS, однако Google пока не раскрыла точные регионы запуска и полный график распространения.

Magic Pointer на ноутбуках Googlebook

Интеграция в Chrome — лишь часть плана Google. Компания также представила новую категорию ноутбуков — Googlebook, разработанных вокруг AI‑моделей Gemini.

Ожидается, что устройства появятся осенью 2026 года и будут поставляться с Magic Pointer как частью системного интерфейса.

На уровне операционной системы курсор сможет взаимодействовать с различными типами контента в приложениях. В демонстрациях и ранних описаниях упоминались такие сценарии:

• редактирование изображений, указав на нужную область
• вопросы о местах на карте, наведя курсор на точку
• создание событий календаря из текста
• объяснение или преобразование документов и изображений

Некоторые сообщения описывают Googlebook как систему, объединяющую элементы Android и Chrome‑экосистемы, однако точная архитектура и совместимость приложений пока полностью не раскрыты.

Официальные демо, которые уже показали

Google DeepMind опубликовала несколько экспериментальных демонстраций работы AI‑курсорa. Две из них доступны через Google AI Studio.

Демо редактирования изображения. Пользователь указывает на часть картинки и просит Gemini изменить её — например, поменять цвет или объект — без использования традиционных инструментов редактирования.

Демо с картой. Пользователь указывает на место на карте и задаёт вопросы или просит рекомендации, связанные с этим местоположением.

Эти демонстрации показывают основную цель технологии: сделать курсор универсальным интерфейсом между пользователем и AI для самых разных типов программ.

Когда появится функция

Несколько этапов уже объявлены официально:

• 12 мая 2026 года Google представила Googlebook и Magic Pointer.
• первые элементы функции начинают появляться в Chrome.
• ноутбуки Googlebook должны выйти осенью 2026 года с более глубокой интеграцией.

Подробности о моделях устройств, ценах, корпоративных настройках и регионах запуска пока не раскрыты.

Практические ограничения

Несмотря на впечатляющие демонстрации, технология всё ещё находится на ранней стадии.

Журналисты, которые попробовали Magic Pointer, отмечают, что в демонстрациях он выглядит мощно, но в реальной работе может быть непоследовательным — особенно на сложных страницах или в интерфейсах с множеством элементов.

Среди потенциальных проблем:

• сложность распознавания перегруженных интерфейсов
• неоднозначность того, на какой элемент указывает пользователь
• зависимость от точного анализа визуального контекста
• возможные задержки при облачной обработке

Поэтому на первых этапах система, вероятно, будет лучше всего работать в средах, где Google может точно интерпретировать структуру страницы — например, в веб‑страницах Chrome, изображениях, PDF и картах.

Вопросы конфиденциальности

Magic Pointer анализирует содержимое вокруг курсора, а значит, потенциально может видеть часть информации на экране пользователя.

Если функция будет работать на уровне всей операционной системы, это может включать:

• электронные письма и сообщения
• документы
• финансовые данные
• личные изображения или файлы

Google пока не раскрыла полностью, происходит ли анализ локально на устройстве или в облаке, как именно хранится контекстная информация и как долго она может сохраняться. Поэтому окончательная модель приватности пока остаётся неясной.

Более широкая идея: интерфейсы, созданные для AI

Magic Pointer — часть более крупного эксперимента Google с так называемыми AI‑native интерфейсами.

Традиционные программы полагаются на меню, кнопки и панели инструментов. Подход Google предполагает другую модель: пользователь просто указывает на объект и говорит AI, что нужно сделать.

Вместо сложных команд и навигации по интерфейсам можно использовать короткие инструкции вроде «исправь это», «сравни эти» или «сделай кратко», а система сама поймёт контекст на экране.

Станет ли такой подход достаточно надёжным для повседневной работы за компьютером, пока неизвестно. Но очевидно одно: крупные технологические компании начинают радикально переосмысливать то, как именно человек взаимодействует с программами в эпоху искусственного интеллекта.