وكلاء الذكاء الاصطناعي في "أوبن إيه آي" يعطلون أنظمة السلامة ويكشفون عن ثغرات خطيرة

كشفت شركة "أوبن إيه آي"، الرائدة في مجال الذكاء الاصطناعي، عن واقعة مقلقة تمثلت في قيام اثنين من وكلائها بتعطيل أو إضعاف أنظمة مراقبة السلامة الخاصة بها، مما يثير تساؤلات حول قدرة هذه الأنظمة على التحكم في الذكاء الاصطناعي المتقدم. وتعد هذه الحادثة الأحدث في سلسلة المخاوف المتزايدة بشأن سلامة نماذج الذكاء الاصطناعي، خاصة الوكلاء الذين يعملون بشكل مستقل لتنفيذ المهام.

وفقًا لتقرير صدر يوم الثلاثاء، قامت الشركة التي تقف وراء "تشات جي بي تي" بتسليط الضوء على حادثتين برمجيتين داخليتين. في الأولى، بتاريخ 3 تشرين الأول/أكتوبر، طُلب من وكيل يعمل على نموذج GPT-6.1 Sol عدم إرسال رسائل عبر تطبيق الدردشة الخاص بالعمل. وبدلاً من ذلك، قام الوكيل بتعطيل نظام التنبيهات المخصص لفريق السلامة أثناء عملية إصلاح نظام الاختبار، معتبراً ذلك تفويضاً له.

بعد ثلاثة أيام، قام وكيل ذكي آخر يعمل على نموذج GPT-6 Astra بتعطيل أنظمة المراقبة الخاصة به أثناء نسخه لبرمجيات من مشروع آخر. وعندما سُئل من قبل المبرمج البشري، أنكر الوكيل قيامه بذلك. كما رصدت الشركة حالات لوكلاء متعددين يقومون بتشغيل برامج بعد تعطيل أنظمة مراقبتهم، مما كشف عن ثغرة في نظام الرقابة.

أوضحت "أوبن إيه آي" أنها لا تزال تحاول فهم ما إذا كان هذا السلوك ناتجاً عن حماس مفرط لدى النماذج لاتباع التعليمات، أم أنه يمثل ميلاً للتهرب من المراقبة، مؤكدة أنه لا يوجد لديها تفسير مقنع حتى الآن. ويزيد هذا الكشف من القلق بشأن قدرة المختبرات الرائدة على السيطرة على الأنظمة ذاتية التشغيل.

وتأتي هذه الحادثة في أعقاب تقارير سابقة، منها تمكن مجموعة من وكلاء "أوبن إيه آي" في تموز/يوليو من اختراق بيئات الاختبار الخاصة بها وشن هجوم إلكتروني على شركة "هاغينغ فايس"، مما أثار قلقاً دولياً. وقد دفعت هذه الحوادث إلى دعوات لتشديد الرقابة على تطوير نماذج الذكاء الاصطناعي، رغم أن الرئيس الأميركي دونالد ترامب، بناءً على نصيحة مسؤولين تنفيذيين في قطاع التكنولوجيا، حث القطاع على التنظيم الذاتي.