مع التوسع في استخدام أدوات الذكاء الاصطناعي القادرة على تنفيذ المهام بصورة مستقلة، لم تعد المخاوف مقتصرة على دقة الإجابات التي تقدمها هذه الأنظمة، بل امتدت إلى الصلاحيات التي تحصل عليها داخل الشركات، خاصة عندما تتمكن من الوصول إلى قواعد البيانات والملفات والأنظمة الداخلية.
وفي هذا السياق، تحذر شركة مايكروسوفت من الاعتماد على نماذج الذكاء الاصطناعي نفسها لضمان سلامة تصرفاتها. موضحة أن الوكلاء الأذكياء قد يتسببون في أضرار أمنية حتى دون وجود نية ضارة، إذا ارتكبوا أخطاء أثناء تنفيذ المهام أو استخدموا صلاحيات تتجاوز احتياجاتهم الفعلية.
لماذا تحذر مايكروسوفت من ترك الذكاء الاصطناعي يراقب نفسه؟
تكمن المشكلة في أن وكلاء الذكاء الاصطناعي لا يكتفون بالإجابة عن الأسئلة أو إنشاء النصوص، بل يمكنهم تنفيذ سلسلة من الإجراءات بصورة متتابعة، مثل البحث داخل الملفات، والوصول إلى البيانات، والتفاعل مع التطبيقات، وإنجاز مهام العمل دون تدخل بشري مستمر.
وكلما اتسعت صلاحيات هذه الأنظمة، زادت احتمالات وقوع أخطاء قد تؤثر في بيانات الشركات أو أنظمتها، خصوصًا إذا لم تكن هناك ضوابط مستقلة تراجع الإجراءات التي تنفذها.
وتقوم الفكرة التي تدفع مايكروسوفت إلى تعزيز أدوات الحماية على ضرورة الفصل بين النظام المسؤول عن تنفيذ المهمة، والنظام المسؤول عن مراقبة سلوكه. فنجاح نموذج الذكاء الاصطناعي في إنجاز العمل لا يعني بالضرورة أنه سيلتزم بجميع قواعد الأمان أو حدود الصلاحيات الممنوحة له.
Guardian Agents.. حراس يراقبون وكلاء الذكاء الاصطناعي
ضمن جهودها لتعزيز أمن الأنظمة الذكية، تعمل مايكروسوفت على تطوير أدوات رقابية تحمل اسم Guardian Agents، أو «الوكلاء الحراس»، في إطار توجه يستهدف مراقبة سلوك وكلاء الذكاء الاصطناعي واكتشاف التصرفات غير المعتادة قبل تحولها إلى مشكلة أمنية.
وتتمثل مهمة هذه الأدوات في متابعة الأنشطة التي تنفذها الوكلاء الأذكياء داخل بيئات العمل، بما يشمل الشبكات والمنصات السحابية والأجهزة المحلية، بهدف رصد أي إجراء قد يخالف السياسات الأمنية المعتمدة.
وتزداد أهمية هذا النوع من الرقابة مع قدرة الوكلاء على تنفيذ عدد كبير من العمليات خلال وقت قصير. وهو ما يجعل مراجعة كل خطوة يدويًا أمرًا صعبًا بالنسبة إلى الموظفين ومسؤولي الأمن.
وبدلًا من انتظار وقوع الخطأ ثم التعامل مع نتائجه، يستهدف هذا التوجه اكتشاف السلوك المثير للشك في أثناء التنفيذ. وإتاحة الفرصة للتدخل قبل الوصول إلى بيانات حساسة أو إجراء تغييرات غير مرغوبة.
كيف تتحكم مايكروسوفت في صلاحيات وكلاء الذكاء الاصطناعي؟
لا تعتمد حماية الأنظمة الذكية على مراقبة تصرفاتها فقط، بل تشمل أيضًا تحديد ما يمكنها الوصول إليه منذ البداية.
وفي هذا الإطار، تتيح أدوات أمنية مثل Microsoft Defender وMicrosoft Entra إمكانات لرصد أدوات الذكاء الاصطناعي وإدارة الهويات والصلاحيات المرتبطة بها. بما يساعد المؤسسات على متابعة استخدام هذه التقنيات داخل بيئة العمل.
ويعتمد أحد الأساليب المهمة على منح الوكيل الذكي أقل قدر من الصلاحيات اللازمة لإنجاز المهمة المطلوبة. بدلًا من السماح له بالوصول إلى جميع الملفات والأنظمة.
فعلى سبيل المثال، إذا كُلف وكيل ذكي بمراجعة مستند معين. فلا ينبغي أن يحصل تلقائيًا على صلاحية الاطلاع على قواعد بيانات أخرى لا يحتاج إليها. ويمكن تقييد الوصول وفقًا لطبيعة المهمة والسياسات الأمنية. ثم مراجعة الصلاحيات أو سحبها عند انتهاء الحاجة إليها.
ويهدف هذا النهج إلى تقليل نطاق الأضرار المحتملة إذا أخطأ الوكيل أو حاول تنفيذ إجراء غير مسموح به.
ماذا يحدث إذا تصرف وكيل الذكاء الاصطناعي بصورة غير طبيعية؟
تتجه أنظمة الحماية الحديثة إلى توفير أكثر من وسيلة للتعامل مع السلوك غير المعتاد. بدلًا من الاكتفاء بإرسال تنبيه إلى المسؤولين.
وقد تشمل الإجراءات الممكنة تقييد الوصول إلى بعض البيانات. أو تعليق تنفيذ مهمة لحين الحصول على موافقة بشرية. أو إيقاف الوكيل إذا ظهرت مؤشرات على وجود خطر.