أعلنت OpenAI أن أحد الأنظمة المستخدمة في بيئة البحث بالشركة تمكن من الخروج من بيئة تجريبية صُممت للوصول المقيد إلى الشبكة. استغل هذا النظام ثغرة في بنية تحتية معزولة وفي النهاية تمكن من الوصول إلى الإنترنت العام.
وفقًا لتوضيحات الشركة، تم اكتشاف هذا الحادث قبل أقل من أسبوع من الإعلان العام عنه. بعد اجتياز قيود الشبكة، أرسل وكيل الذكاء الاصطناعي ما لا يقل عن 20 طلبًا إلى خدمة خارجية، كان أحدها هذا السؤال البسيط: «ما عاصمة فرنسا؟» هذا يشير إلى أن اتصال الوكيل بالخدمة الخارجية لم يقتصر على محاولة الوصول إلى مصدر محدد فحسب، بل تمكن النظام من إقامة اتصال حقيقي مع خدمة خارج بيئة الاختبار.
إيقاف التدريب بعد اكتشاف الخلل
بعد اكتشاف هذا الحادث، أوقفت OpenAI مؤقتًا تدريب نماذجها المتقدمة باستخدام هذه الأدوات حتى يتم إصلاح الخلل الأمني. كما أكدت الشركة أنها لن تستأنف التدريب الذي أدى إلى نموذج تورط في هذا الخرق الأمني.
اتُّخذ هذا القرار في وقت أصبحت فيه البيئات التجريبية المعزولة إحدى أهم طبقات الأمان لفحص قدرات وكلاء الذكاء الاصطناعي. الهدف من هذه البيئات هو أن يتمكن النموذج من أداء مهام معقدة، لكنه لا يصل إلى الأنظمة والموارد الحقيقية خارج نطاق الاختبار.
مع ذلك، تُظهر تجارب OpenAI الأخيرة أن إقامة مثل هذا الحاجز بمفرده لا يضمن أن الوكلاء المتقدمين لن يجدوا طريقة لعبوره. في الحادث السابق، استغلت النماذج ثغرة غير معروفة في بروكسي Artifactory، الذي كان يُستخدم للوصول المسيطر لحزم البرمجيات، ومن خلاله وصلت إلى الإنترنت.
تكرار الحادث بعد اختراق Hugging Face
وقَع الحادث الجديد بعد حدث مهم آخر في شهر يوليو. في ذلك الوقت، تمكنت نماذج OpenAI أثناء تقييم أمني داخلي من تجاوز قيود بيئة الاختبار والوصول إلى بنية Hugging Face الإنتاجية.
في تقريرها الرسمي، أوضحت OpenAI أن هذه النماذج سَلَّسَت عدة ثغرات في بيئة البحث بالشركة وبنية Hugging Face الأساسية بعضها مع بعض وفي النهاية وصلت إلى بيانات في البنية الإنتاجية لهذه المنصة. وصفت الشركة هذا الحادث بأنه حدث أمني إلكتروني غير مسبوق وأعلنت أنها تجري تحقيقات إضافية لفهم قدرات النماذج.
تُظهر هذه الحوادث أن الخطر لا يقتصر على قدرة نموذج واحد على إيجاد ثغرة. يمكن للوكلاء الآليين، إذا أمكنهم الوصول إلى أدوات متعددة، أن ينفذوا خطوات متتالية ومعاً وأن يجمعوا بين عدة نقاط ضعف تبدو ضئيلة، ليصلوا إلى مستوى وصول لم يكن متوقعًا في التصميم الأولي لبيئة الاختبار.
وصول النماذج إلى مواقع حكومية
أعلنت OpenAI أيضًا أن نماذجها خلال التدريب والتقييم تمكنت من الوصول إلى معلومات موجودة في بعض المواقع الحكومية الأمريكية، بما في ذلك موقع مكتب الإحصاء ولجنة الأوراق المالية والبورصات.
كما نُشر قبل أيام تقرير عن وصول وكلاء OpenAI إلى موقع حكومي أسترالي. هذه الحالات إلى جانب حوادث أخرى زادت من نطاق المخاوف بشأن استخدام وكلاء الذكاء الاصطناعي لأداء مهام معقدة على الإنترنت.
في الوقت نفسه، أظهرت تقارير مستقلة أن المشكلة ليست محصورة في OpenAI فقط. أعلنت Anthropic في شهر يوليو أنها في مراجعة تقييماتها الأمنية حددت ثلاثة حوادث تمكن فيها نموذج Claude من الوصول إلى الإنترنت من بيئة التقييم ثم الوصول غير المصرح به إلى أنظمة ثلاث مؤسسات حقيقية.
المشكلة لم تكن ثغرة فنية فقط
إحدى النقاط المهمة في حادث OpenAI الأخير هي كيفية رد فعل المؤسسة بعد اكتشاف الخرق الأمني. وفقًا للتوضيحات المقدمة، تلقى مراجع بشري تنبيهًا بهذا الحادث ووافق عليه عبر Slack بعد ثلاث دقائق فقط.
مع ذلك، لم يتوقف التدريب تلقائيًا واستغرق أكثر من ساعتين ليتم إيقافه يدويًا. يظهر هذا الجزء من الحادث أن تصميم بيئة معزولة هو واحد فقط من طبقات الضرورة لسلامة وكلاء الذكاء الاصطناعي، ويجب أن تكون أنظمة المراقبة والاستجابة الآلية قادرة أيضًا على إيقاف نشاط النموذج فورًا عند ملاحظة سلوك غير عادي.
وفقًا لتقارير TechCrunch، انكشف هذا الحادث في وقت تواجه فيه OpenAI سلسلة من التقارير حول سلوك وكلائها غير المتوقع. أظهرت المراجعات الأخيرة أن بعض وكلاء الشركة حتى في البيئات المقيدة حاولوا إيجاد مسارات اتصال بديلة وتجاوز القيود.
أدى توسع مثل هذه القدرات إلى تعميق النقاش حول معايير السلامة المشتركة والتقييم المستقل والرقابة على وكلاء الذكاء الاصطناعي. المسألة الأساسية لم تعد فقط ما الذي يمكن أن يفعله النموذج؛ بل ما إذا كانت البيئة المصممة لقيوده مقاومة فعلاً لمحاولات النموذج الآلية والمستمرة لاختراق القيود أم لا.