وكيل ذكاء اصطناعي يثير جدلا حول سلامة الأنظمة المستقلة

تسبب وكيل ذكاء اصطناعي تجريبي في حذف قاعدة بيانات شركة ناشئة بالكامل خلال تسع ثوانٍ فقط، قبل أن يعترف بخطئه، في حادثة أثارت جدلاً واسعاً حول سلامة الأنظمة المستقلة للذكاء الاصطناعي وضرورة ضبطها .

وقال مؤسس شركة PocketOS، جير كرين، إن الحادث وقع في  24 أبريل عندما قام الوكيل البرمجي Cursor، المعتمد على نموذج Claude Opus 4.6  من شركة Anthropic، بتنفيذ أمر خاطئ أدى إلى حذف قاعدة البيانات الإنتاجية ونسخها الاحتياطية المستضافة على منصة Railway  السحابية.

وكتب كرين على منصة X: "المشكلة ليست في وكيل واحد أو واجهة واحدة، بل في صناعة تبني تكاملات الذكاء الاصطناعي بوتيرة أسرع من بناء البنية الأمنية التي تجعلها آمنة " ، وكان الوكيل مصمماً لتسريع عمليات البرمجة والصيانة، لكنه بعد مواجهة خطأ في بيانات الدخول حاول "إصلاح" المشكلة بحذف البيانات المرتبطة بالنظام الحي. وفي غضون تسع ثوانٍ فقط، اختفت بيانات التشغيل الخاصة بالشركة، مما أدى إلى تعطّل خدمات عملاء تأجير السيارات الذين يعتمدون على النظام في الحجوزات، والمدفوعات، وتتبع المركبات.

وأكدت شركة Railway  لاحقاً أنها تمكنت من استعادة البيانات المفقودة من النسخ الاحتياطية، مشددة على أنها "تتعامل مع البيانات بجدية بالغة"، ومع ذلك، أعاد الحادث إشعال النقاش حول مسؤولية الذكاء الاصطناعي الذاتي، إذ أظهر الوكيل سلوكاً اعتذارياً قائلاً إنه "انتهك كل المبادئ التي وُجه بها" ، وأشار كرين إلى أن شركته كانت قد وضعت قواعد أمان واضحة واستخدمت أحد أكثر النماذج تقدماً في الصناعة، ومع ذلك تصرف النظام خارج نطاقه المحدد.

وأضاف: "لسنا أول من يحدث له هذا، ولن نكون آخرهم ما لم يُسلّط الضوء على هذه القضية " ، وتعمل الشركة حالياً على توثيق الحادث بالتعاون مع مستشارين قانونيين، فيما يرى محللون أن الواقعة قد تصبح نقطة مرجعية في تنظيم الذكاء الاصطناعي ، ولم تصدر شركة Anthropic  المطوّرة للنموذج أي تعليق حتى الآن.