كشفت شركة جوجل الأمريكية أن نموذج الذكاء الاصطناعي Gemini تمكن من الوصول إلى أنظمة 3 شركات حقيقية خلال اختبار للأمن السيبراني أُجري في مايو الماضي. إلا أن النموذج توقف من تلقاء نفسه بعدما أدرك أنه لم يعد يتعامل مع أنظمة وهمية داخل بيئة الاختبار.
وتكشف الواقعة جانبًا جديدًا من المخاطر المرتبطة بتطور قدرات نماذج الذكاء الاصطناعي، خاصة مع قدرتها المتزايدة على تنفيذ مهام أمنية معقدة بشكل مستقل.
كيف تمكن Gemini من الوصول إلى أنظمة الشركات؟
وقعت الحوادث خلال اختبار أمني أجرته شركة الذكاء الاصطناعي الإسرائيلية Irregular. وكان من المفترض أن يعمل نموذج Gemini داخل بيئة محاكاة للوصول إلى معلومات مرتبطة ببرنامج تابع لشركة وهمية.
إلا أن اسم الشركة الوهمية تطابق مع اسم شركة حقيقية، ما أدى إلى وصول النموذج إلى أنظمة تقع خارج نطاق الاختبار.
وكان من المفترض ألا يمتلك Gemini إمكانية الوصول إلى الإنترنت. لكن هذا الوصول أصبح متاحًا له بشكل غير مقصود، وهو ما سمح للنموذج بالوصول إلى أنظمة شركات حقيقية.
وفي إحدى الحالات، تمكن النموذج من الوصول إلى نظام إحدى الشركات بعدما خمّن كلمات مرور. بينما شهدت حالتان أخريان بحث النموذج عبر الإنترنت عن اسم الشركة، ليعثر على بيانات اعتماد منشورة في مستودعات عامة، ثم استخدمها للوصول إلى الأنظمة.
Gemini توقف بعدما أدرك أنه يتعامل مع شركات حقيقية
وبمجرد أن أدرك نموذج Gemini أنه يتعامل مع شركات حقيقية وليس أنظمة وهمية ضمن بيئة الاختبار. توقف عن مواصلة العملية من تلقاء نفسه، وخرج من الأنظمة التي تمكن من الوصول إليها.
ولم تكشف جوجل عن أسماء الشركات الثلاث التي وصلت إليها أنظمة النموذج خلال الاختبار.
جوجل: النموذج تصرف بشكل مناسب
أُبلغت جوجل بهذه الوقائع في يوليو الماضي، لكنها لم تعلن عنها في ذلك الوقت، موضحة أن الشركة لم تعتبر الحوادث تستوجب إعلانًا عامًا. خاصة أن النموذج أوقف عمليات الوصول من تلقاء نفسه قبل أن يتسبب في أي أضرار للشركات.
وقالت هذر أدكينز، نائبة رئيس هندسة الأمن في جوجل، إن الواقعة تؤكد أهمية تدريب نماذج الذكاء الاصطناعي القوية على التصرف بمسؤولية. مشيرة إلى أن النموذج تصرف بشكل مناسب عندما أدرك أنه وصل إلى أنظمة حقيقية.
وأخطرت جوجل الشركات الثلاث المتضررة والسلطات الفيدرالية الأمريكية بالواقعة، لكنها أوضحت أن الحوادث لم تتضمن أحدث نموذج من Gemini. دون الكشف عن إصدار النموذج الذي شارك في الاختبار.
واعتبرت جوجل الواقعة أقرب إلى اختبار لاكتشاف الثغرات الأمنية منها إلى اختراق ضار.
حوادث مماثلة مع نماذج الذكاء الاصطناعي
تأتي واقعة Gemini في وقت تظهر فيه المزيد من الحوادث المرتبطة بقدرة نماذج الذكاء الاصطناعي على تنفيذ مهام معقدة بشكل مستقل.
وشهدت اختبارات سابقة وقائع مشابهة ارتبطت بنماذج تابعة لشركات مثل OpenAI وAnthropic وMeta.
وقالت شركة Irregular إن واقعة جوجل لا تمثل مشكلة جديدة. وإنها تشبه حوادث أخرى ظهرت خلال اختبارات أجرتها مختبرات الذكاء الاصطناعي الكبرى. مؤكدة أن جميع المشكلات المعروفة من جانبها جرى التعامل معها وإصلاحها.
اختلاف في طريقة تعامل النماذج مع الأنظمة الحقيقية
وتختلف حالة Gemini عن بعض الوقائع السابقة في نقطة مهمة، وهي أن النموذج توقف من تلقاء نفسه بعدما أدرك أنه وصل إلى شركة حقيقية.
وفي اختبار مشابه، قالت Anthropic إن نموذج Claude Opus 4.7 لم يتوقف بعدما أدرك أنه ربما يتعامل مع شركة حقيقية. بينما كشفت OpenAI في واقعة أخرى أن أحد نماذجها اعتقد أن الشركة الحقيقية التي وصل إليها كانت جزءًا من بيئة المحاكاة.
وكلاء الذكاء الاصطناعي أمام تحديات أمنية جديدة
وتسلط هذه الحوادث الضوء على تحدٍ متزايد مع تطور وكلاء الذكاء الاصطناعي. فكلما أصبحت النماذج أكثر قدرة على استخدام الإنترنت. والبحث عن المعلومات، والتعامل مع الأنظمة، وتنفيذ سلسلة من المهام بصورة مستقلة، زادت الحاجة إلى وضع ضوابط تمنع انتقال أنشطة الاختبار أو التجربة إلى أنظمة حقيقية دون قصد.