أعلنت شركة “مايكروسوفت” عن أدوات جديدة لمراقبة سلوك وكلاء الذكاء الاصطناعي، وتقييد صلاحياتهم، والحد من المخاطر التي قد تنجم عن قراراتهم.
وحذّرت الشركة “من المخاطر الأمنية المتزايدة لوكلاء الذكاء الاصطناعي داخل المؤسسات، مؤكدة أن النماذج المتقدمة لا يمكن الوثوق بها بالكامل، حتى عندما تطوّرها شركات متخصصة.
ميزة Guardian Agents
ومن بين المزايا التي طورتها مايكروسوفت ميزة “Guardian Agents” المصممة لمراقبة وكلاء الذكاء الاصطناعي الذين تستخدمهم المؤسسات.
وتندرج الميزة ضمن مشروع “Project Perception”، الذي أطلقته الشركة في يونيو الماضي لتعزيز قدرات الأمن السيبراني المدعومة بالذكاء الاصطناعي.
واعتمد مشروع “Project Perception” عند إطلاقه على ثلاثة أنواع من الوكلاء؛ وهم فريق أحمر يحاكي المهاجمين ويختبر الأنظمة عبر شن هجمات عليها، وفريق أزرق يرصد الهجمات ويقيّم الثغرات الأمنية، وفريق أخضر يتولى معالجة هذه الثغرات.
واستهدف المشروع في البداية مواجهة التهديدات الخارجية، بما يشمل قدرات الاختراق المتقدمة المرتبطة بنماذج مثل Mythos وFable من شركة أنثروبيك، ونظام “Daybreak” الذي تطوّره OpenAI لفحص الثغرات الأمنية.
مصدر آخر للخطر
لكن مايكروسوفت باتت تحذّر من مصدر آخر للخطر، وهو وكلاء الذكاء الاصطناعي الذين تنشرهم المؤسسات داخل أنظمتها، إذ قد يتصرفون بصورة غير متوقعة، أو يتخذون قرارات تضر بالبيانات والعمليات الحساسة. ويشبه هذا السيناريو ما يُعرف أمنيًا باسم “التهديد الداخلي”، عندما يستغل موظف صلاحياته للإضرار بالمؤسسة.
وحذّر الرئيس التنفيذي لمايكروسوفت، ساتيا ناديلا، في مقالة خاصة مطلع أكتوبر الجاري، من الاعتماد الكامل على ضمانات الأمان التي تقدمها الشركات المطوّرة لوكلاء الذكاء الاصطناعي، داعيًا المؤسسات إلى إنشاء أنظمة مستقلة لمراقبتهم والتحكم في تصرفاتهم.
وأكد ناديلا أن المؤسسات تمنح هذه الأنظمة إمكانية الوصول إلى بيانات شديدة الحساسية، بالإضافة إلى صلاحيات تنفيذ عمليات بالغة الأهمية، مما يجعل مسؤولية مراقبة سلوكها أمرًا لا يمكن تفويضه بالكامل إلى الشركات المطوّرة.
لماذا لا يمكن الوثوق بالنماذج المتقدمة؟
قالت هاييتيه جالوت، المسؤولة عن قطاع الأمن في مايكروسوفت، إن النماذج المتقدمة لا يمكن الوثوق بها بالكامل، بصرف النظر عن الجهة التي تطوّرها.
وأوضحت أن المشكلة لا تكمن بالضرورة في كون هذه النماذج خبيثة أو سهلة الاختراق، بل في صعوبة التنبؤ بسلوكها؛ إذ تُدرّب على إنجاز المهام، وليس بالضرورة على الالتزام بمعايير المؤسسات أو اتخاذ قرارات تتوافق مع قواعدها التنظيمية.
وتزداد المخاطر عندما تحصل الوكلاء على صلاحيات واسعة للوصول إلى البيانات والأنظمة والأدوات، إذ قد يؤدي قرار خطأ إلى أضرار أمنية أو تشغيلية كبيرة.
وتوسّع مايكروسوفت أدواتها الأمنية لمساعدة المؤسسات على التحكم في هذه المخاطر، وتشمل الإضافات الجديدة ميزة “Guardian Agents”، بالإضافة إلى تحديثات خدمة Microsoft Defender.
ميزة اكتشاف الوكلاء في Microsoft Defender
وتستطيع ميزة اكتشاف الوكلاء في Microsoft Defender رصد ما يصل إلى 60 نوعًا من وكلاء الذكاء الاصطناعي الذين يستخدمهم الموظفون، ومنهم Claude Code وCodex وOpenClaw.
كما أضافت الشركة أدوات لتقييد وصول الوكلاء إلى البيانات والأنظمة، وتعديل صلاحياتهم وفقًا لطبيعة المهام الموكلة إليهم. ويمكن لهذه الأدوات طلب موافقة بشرية عندما يرصد النظام قرارات تنطوي على مخاطر.
تعزيز مبيعات منتجات مايكروسوفت الأمنية والسحابية
ويفتح هذا التوجه أمام مايكروسوفت فرصة لتعزيز مبيعات منتجاتها الأمنية والسحابية، رغم علاقاتها الاستثمارية والتجارية الوثيقة مع OpenAI وأنثروبيك، وامتلاكها مختبرًا خاصًا لتطوير نماذج الذكاء الاصطناعي.
وتستند إستراتيجية الشركة إلى مبدأ فصل الجهة التي تطوّر وكلاء الذكاء الاصطناعي عن الجهة التي تراقب سلوكهم وتقيّم مخاطرهم، على غرار استقلال المدققين عن المؤسسات التي يخضع عملها للتدقيق.
ولا يقتصر هذا التوجه على مايكروسوفت؛ إذ انضمت الشركة إلى الأعضاء المؤسسين لمنصة “Open Agent Safety Platform” التي أطلقتها إنفيديا، وحظيت بدعم أكثر من 100 شركة تقنية. وتهدف المنصة إلى عزل الوكلاء داخل بيئات آمنة، ومراقبة سلوكهم، وإتاحة إيقاف الأنشطة الخطرة عبر آليات تعتمد على العتاد.