يعتمد Magic Pointer على موقع المؤشر باعتباره مدخلًا للسياق. فعندما تضع المؤشر فوق نص أو صورة أو جدول أو عنصر في صفحة ويب، يقوم النظام بتحليل السياق البصري والمعنوي حول المؤشر لمعرفة ما الذي تقصده.
بدلاً من شرح كل شيء في أمر طويل، يمكن استخدام أسلوب بسيط يشبه "أشر واطلب":
يقوم Gemini بفهم الأمر القصير مع تحليل ما يظهر على الشاشة ليعطي النتيجة. ويصف باحثو جوجل هذا الأسلوب بأنه طريقة لإلغاء ما يسمّى "الالتفاف عبر الذكاء الاصطناعي"، حيث يضطر المستخدم عادة إلى نسخ المحتوى إلى روبوت محادثة ثم شرح المطلوب.
أول تطبيق فعلي للميزة سيظهر داخل متصفح Chrome. الفكرة أن المستخدم يمكنه توجيه المؤشر إلى جزء محدد من صفحة ويب وطرح سؤال على Gemini حول ذلك الجزء تحديدًا.
من الاستخدامات المتوقعة:
في بعض الحالات، قد تظهر اقتراحات تلقائية عندما يقوم المستخدم بهز المؤشر قليلًا، فتظهر إجراءات سريعة مرتبطة بالمحتوى الموجود تحته. على سبيل المثال، إذا أشار المؤشر إلى تاريخ داخل رسالة بريد إلكتروني، قد يقترح النظام إنشاء موعد في التقويم.
وتشير التقارير إلى أن الميزة بدأت بالوصول تدريجيًا إلى Chrome على أجهزة الكمبيوتر المكتبية مثل Windows وmacOS، لكن جوجل لم توضح بعد جدول الإطلاق الكامل أو المناطق التي ستتوفر فيها أولًا.
تكامل Chrome هو مجرد خطوة أولى. فقد كشفت جوجل أيضًا عن فئة جديدة من الحواسيب المحمولة باسم Googlebook، وهي أجهزة مصممة من الأساس حول قدرات Gemini.
ومن المتوقع إطلاق هذه الأجهزة في خريف 2026، مع دمج Magic Pointer بشكل عميق في النظام.
على مستوى نظام التشغيل، يمكن للمؤشر التفاعل مع أنواع كثيرة من المحتوى داخل التطبيقات المختلفة. وتشمل الأمثلة التي ظهرت في العروض التجريبية والتقارير المبكرة:
وتشير بعض التقارير إلى أن Googlebook قد يجمع عناصر من أنظمة Android وChrome، لكن التفاصيل التقنية الدقيقة حول البنية والتوافق مع التطبيقات لم تُحسم بعد بشكل كامل.
نشر فريق Google DeepMind عدة عروض تجريبية توضح الفكرة عمليًا عبر منصة Google AI Studio.
أبرز مثالين حتى الآن:
تعديل الصور: يمكن للمستخدم الإشارة إلى جزء من الصورة وطلب تعديل مباشر — مثل تغيير اللون أو تعديل عنصر معين — دون استخدام أدوات تحرير تقليدية.
الاستدلال على الخرائط: يشير المستخدم إلى موقع على الخريطة ويسأل Gemini عنه أو يطلب توصيات مرتبطة بذلك المكان.
تعكس هذه العروض الهدف الأكبر للمشروع: تحويل المؤشر إلى واجهة سياقية بين المستخدم والذكاء الاصطناعي في مختلف أنواع البرامج.
حتى الآن، ظهرت عدة محطات زمنية معلنة:
لكن تفاصيل مثل الأسعار، الطرازات، أدوات التحكم المؤسسية، والمناطق المدعومة لم تُكشف بعد بشكل كامل.
رغم العروض اللافتة، ما تزال التقنية في مرحلة مبكرة.
تشير تجارب عملية أولية إلى أن الميزة قد تبدو قوية في العروض التوضيحية، لكنها ليست مستقرة دائمًا في الاستخدام اليومي، خصوصًا عندما يحاول النظام تفسير واجهات معقدة أو عناصر غير واضحة على الشاشة.
من أبرز التحديات المحتملة:
لهذا من المرجح أن تعمل الميزة بشكل أفضل في البيئات التي تستطيع جوجل فهم بنيتها جيدًا مثل صفحات الويب داخل Chrome أو الصور وملفات PDF والخرائط.
بما أن Magic Pointer يحلل ما يظهر حول المؤشر، فهذا يعني أنه قد يحتاج إلى فحص جزء من محتوى الشاشة لفهم السياق.
إذا توسع النظام ليعمل على مستوى نظام التشغيل، فقد يشمل ذلك محتوى مثل:
حتى الآن لم توضح جوجل بشكل كامل ما إذا كان التحليل يتم محليًا على الجهاز أو عبر السحابة، وكيف يتم تخزين البيانات السياقية أو مدة الاحتفاظ بها. لذلك لا تزال تفاصيل نموذج الخصوصية غير واضحة بالكامل.
يمثل Magic Pointer تجربة أوسع نحو ما يمكن وصفه بـ واجهات حاسوبية مدمجة مع الذكاء الاصطناعي من الأساس.
فبدلاً من الاعتماد على القوائم والأزرار وأشرطة الأدوات التقليدية، تقترح جوجل نموذجًا مختلفًا:
أشر إلى ما تريد، واطلب من الذكاء الاصطناعي تنفيذ المهمة.
بدلاً من التنقل بين أدوات معقدة أو كتابة أوامر طويلة، قد يكتفي المستخدم بتعليمات قصيرة مثل: "أصلح هذا" أو "قارن بين هذين" أو "لخّص هذا"، بينما يتولى الذكاء الاصطناعي فهم السياق المحيط بالمؤشر.
ويبقى السؤال: هل سيكون هذا الأسلوب موثوقًا بما يكفي ليصبح الطريقة الأساسية للتفاعل مع الحواسيب؟ الإجابة ستعتمد على مدى دقة التقنية عندما تنتقل من العروض التجريبية إلى الاستخدام اليومي.