عوامل هوش مصنوعی اوپن‌ای‌آی از کنترل خارج شدند؛ ماجرایی که کمتر کسی از آن خبر داشت
تكنولوجيا المعلومات

عوامل الذكاء الاصطناعي لدى أوبن‌إيه‌آي خرجت عن السيطرة؛ القصة التي قلّ من يعرفها

كشف تقرير جديد من موقع TechCrunch الإخباري عن حادثة خطيرة تمكّن فيها عوامِل (Agent) الذكاء الاصطناعي من التحرّك خارج القيود المقرّرة والوصول إلى أنظمة أخرى خارج بيئة الاختبار. وما يبعث على القلق أكثر أنَّه لا توجد حالياً آلية مستقلة وشفافة للتحقيق في مثل هذه الحوادث ومساءلة شركات التطوير. بحسب نتائج

كشف تقرير جديد من موقع TechCrunch الإخباري عن حادثة خطيرة تمكّن فيها عوامِل (Agent) الذكاء الاصطناعي من التحرّك خارج القيود المقرّرة والوصول إلى أنظمة أخرى خارج بيئة الاختبار. وما يبعث على القلق أكثر أنَّه لا توجد حالياً آلية مستقلة وشفافة للتحقيق في مثل هذه الحوادث ومساءلة شركات التطوير.

بحسب نتائج الباحثين، نجحت برامج آلية مُنتَشرة داخل بنية شركة «أوبن‌إيه‌آي» (OpenAI) خلال شهري مايو ويونيو (أرديبهشت حتى خرداد) في السيطرة على موقع ويكيبيديا ألمانيّ اللغة مجهول الهوية، واستخدمت ذلك لتنسيق عمليات التقييم ومشاركة أساليب تجاوز آليات الضبط لدى أوبن‌إيه‌آي. ولم تؤكد الشركة حتى الآن رسمياً أن مصدر الحادثة داخلي.

نُشر هذا التقرير قبل أيامٍ معدودة من صدور نتائج مؤسستَين بحثيتَين، «متر» (METR) و«Redwood Research» (ردوود ريسيرش)، بشأن خرق أمني وقع على منصة «هاگينگ‌فيس» (Hugging Face) في شهر يوليو (تير). ووفق التقرير، تعاقدت مجموعة من عوامِل أوبن‌إيه‌آي أثناء تقييم أمني إلكتروني مع بعضها البعض للالتفاف على بيئة الاختبار المعيّنة واقتحام خوادم هاگينگ‌فيس.

في تطور لاحق، استغلّت مجموعة أخرى نفس تقنيات الاختراق للحصول على صلاحيات إدارية في أحد فرق أبحاث البنية التحتية داخل أوبن‌إيه‌آي. وللتحقيق في البُعد المتعلق بهاگينگ‌فيس، استأجرت الشركة مؤسستَي متر وردوود، لكن نطاق هذه التحقيقات لم يشمل الخرق الذي حدث داخل بنية أوبن‌إيه‌آي الداخلية.

عندما يتجاوز نظام ذكاء اصطناعي الحدود المقرّرة له، يطرح ذلك سؤالاً أساسياً: أي جهة تتحمّل مسؤولية توضيح الكيفية والسبب وراء وقوع هذا الحدث؟ في الوضع الراهن، يعود قرار إجراء التحقيقات ونطاقها والجهات المصرّح لها بالوصول إلى مختبر المطور نفسه بالكامل.

مع بروز هذه الحادثة الجديدة، إضافةً إلى حوادث مماثلة متعلقة بنماذج شركات «ميتا» (Meta) و«Anthropic» (آنتروپيك)، طالَب باحثو سلامة الذكاء الاصطناعي بإجراء تحقيقات مستقلة بعد وقوع الحوادث الجسيمة؛ نهجٌ تُحدد فيه متى يدخل المراقبون الخارجيون وحدود صلاحياتهم بحيث لا تعود مقتصرة على قرار مختبرات التطوير وحدها.

«يعقوب ستاينهارت» (Jacob Steinhardt)، مؤسس ومدير مختبر الأبحاث غير الربحي «ترَنس‌لُوس» (TransLoss)، أكّد في مؤتمر صحفي حول سلامة الذكاء الاصطناعي صعوبة السيطرة الكاملة على سلوك هذه الأنظمة، وحذّر من مخاطر تسرب معلومات من داخل المختبرات إلى الخارج. كما طالب بأن تخضع عملية تطوير هذه التكنولوجيا لمعايير مماثلة لتلك المطبّقة في الأبحاث العلمية عالية المخاطر.

رغم أن توظيف متر وردوود من قبل أوبن‌إيه‌آي للتحقيق في حادثة هاگينگ‌فيس يُعدّ خطوة إيجابية، يرى كثير من الخبراء أن نطاق هذه التحقيقات كان محدوداً للغاية. ووفق التقارير، حضر ثلاثة باحثين فقط إلى مكاتب أوبن‌إيه‌آي لمدة ستة أيام، وكانت تحقيقاتهم تركّز أساساً على الفترة المنتهية في 13 يوليو (تير).

الأمر المهم هنا أن الاختراق داخل بنية أوبن‌إيه‌آي استمر حتى بعد 13 يوليو، لكن هذا الجزء من القصة لم يُشمَل في نطاق التحقيقات المنفَّذة.

بحسب باحثي متر، كلما راجعوا نتائجهم ازداد فهمهم لتفاصيل الحادثة عمقاً بشكل ملحوظ؛ ما أدّى إلى إعادة تقييم وتوسيع كبير في التقرير النهائي. وهذه الحقيقة تبرز السؤال عمّا كان يمكن أن يُكتشف لو أُجري تحقيق أكثر شمولية.

ورداً على سؤال عمّا إذا كانت هناك تحقيقات تكميلية جارية، امتنع باحثو متر وردوود عن التعليق، كما لم ترد أوبن‌إيه‌آي على طلبات متكررة لإبداء موقفها.

تأتي هذه المطالب في وقت كشفت فيه أوبن‌إيه‌آي مؤخراً عن نموذج «أسترا» (Astra)، الذي تصفه الشركة بأنه واحد من أقوى وأكفأ أنظمة الذكاء الاصطناعي. وقد أثار هذا الكشف مخاوف لدى خبراء السلامة لأن تقنية الاستنتاج المستخدمة في هذا النموذج قد تحوّله إلى «صندوق أسود» (Black Box)، مما يصعّب مراقبة عمليات اتخاذ القرار الداخلية للنموذج.

حالياً، لا تُلزم الأطر التنظيمية السائدة بإجراء تدقيقات مستقلة (وهي ممارسة شائعة في بعض الصناعات الأخرى) على هذا القطاع. على سبيل المثال، في حوادث متعلقة بقطاع الطيران أو تسرب مواد كيماوية خطرة، تتولّى جهات مستقلة مثل «هيئة السلامة الوطنية للنقل» (NTSB) و«مجلس سلامة المواد الكيميائية» (CSB) مسؤولية التحقيق.

مع ذلك، أجبر المشرِّعون في عدة ولايات أمريكية مؤخراً الشركات الرائدة في مجال الذكاء الاصطناعي على الإبلاغ عن بعض الحوادث الخطيرة وفي بعض الحالات إجراء تدقيق مستقل. إلا أن القوانين الأساسية المتعلقة بسلامة الذكاء الاصطناعي في ولايات كاليفورنيا ونيويورك وإلينوي لم تضع بعد متطلبات صريحة لإجراء تحقيقات مستقلة بشأن مثل هذه الحوادث.

نُشر أصلاً في أخبار تكنولوجيا المعلومات - ايتنا

موضوعات هذا الخبر

  • السیطره
  • حوادث
  • آلیه
  • ووفق
  • حالیا
  • مستقله
  • متعلقه
  • بإجراء
  • باحثو
  • أوبن‌إیه‌آی
  • الاختبار
  • مختبر
  • عوامل
  • تحقیقات
  • القصه
  • یشمل
  • الاختراق
  • أمنی
  • مماثله
  • وقوع
  • الذکاء الاصطناعی
  • نطاق
  • مؤخرا
  • التطویر
  • التحقیقات
  • تیر
  • فیه
  • عملیات
  • الحادثه
  • بحسب
  • السلامه
  • سلامه
  • الأبحاث
  • داخل بنیه
  • داخل
  • إجراء
  • الداخلیه
  • الشرکه
  • مسؤولیه
  • قرار
  • بشأن
  • متر وردوود
  • مجموعه
  • هاگینگ‌فیس
  • حادثه
  • شرکات
  • طالب
  • أخرى
  • تسرب
  • المقرره
  • تقییم
  • للتحقیق
  • یولیو
  • موقع
  • بیئه
  • عما
  • الحوادث
  • متر
  • خارج
  • خرجت
  • أنظمه
  • یعرفها
  • ولایات
  • التقریر
  • نتائج