طريقة جديدة للتفاعل مع أدوات الذكاء الاصطناعى

تسعى شركة جوجل عبر شركة الذكاء الاصطناعي التابعة لها "ديب مايند" إلى إعادة ابتكار طريقة التفاعل مع أدوات الذكاء الاصطناعي، عبر تحويل مؤشر الفأرة إلى عنصر أساسي في ما تصفه الشركة بـ"هندسة السياق" بدلا من الاعتماد الكامل على كتابة الأوامر النصية التقليدية.

وأوضح الباحثان أدريان بارانيس وروب مارشانت من ديب مايند أن أدوات الذكاء الاصطناعي الحالية تعمل غالبا داخل نوافذ منفصلة، مما يجبر المستخدم على نقل المحتوى يدويا إليها.

وفي المقابل، يهدف المشروع الجديد إلى جعل الذكاء الاصطناعي يفهم السياق المحيط بالمؤشر مباشرة، بالاعتماد على قدرات Gemini في تحليل العناصر البصرية في الشاشة.

وتتيح التقنية للمستخدم تنفيذ أوامر مختصرة مثل "أصلح هذا" أو "انقل ذلك هنا"، مع دعم التفاعل الصوتي والإيماءات، إذ يحلل النظام ما يحيط بالمؤشر، ويتعرّف العناصر الظاهرة مثل الأماكن والتواريخ والأجسام.

ويمكن للمستخدم عن طريق تلك التقنية تحويل صور لملاحظات مكتوبة بخط اليد إلى قوائم مهام تفاعلية، أو حجز طاولة مباشرة من صورة داخل مقطع فيديو لمطعم، أو إجراء تعديلات سريعة داخل مستند نصي بالاستعانة بالمؤشر.

وبدأت جوجل بالفعل إدماج هذه الاستخدامات داخل Gemini في متصفح كروم؛ إذ أصبح بإمكان المستخدم تحديد أجزاء من صفحة ويب وطرح أسئلة عنها مباشرة، كما تعتزم الشركة إطلاق الميزة مستقبلا ضمن أجهزة "Googlebook" المرتقبة تحت اسم "المؤشر السحري Magic Pointer".

ومع ذلك، تشير ديب مايند إلى أن التقنية الجديدة لن تستبدل "هندسة الأوامر النصية" بالكامل؛ لأن المهام المعقدة ما زالت تتطلب أوصافا دقيقة ومفصلة. وتركّز الفكرة الجديدة أساسا على تبسيط التفاعلات اليومية السريعة وتقليل الجهد اللازم لإتمام المهام عبر الذكاء الاصطناعي.