اوپن‌ای‌آی آموزش قدرتمندترین مدل‌هایش را متوقف کرد؛ پشت پرده چه خبر است؟
تكنولوجيا المعلومات

أوبن‌إي‌آي أوقف تدريب أقوى نماذجه؛ ما الذي يجري خلف الكواليس؟

أوبن‌إي‌آي، أنثروبيك وباحثون في الأمن يراجعون عشرات الآلاف من الحوادث التي قامت فيها نماذج الذكاء الاصطناعي المتقدمة بأفعال اعتبرها مقيمون مستقلون مُشكلة. وبحسب إيتنا، قالت مصادر مطلعة لأكسيوس إن هذه الحوادث سُجلت في الأشهر الأخيرة، سواء في الاختبارات الداخلية أو في البيئات الحقيقية. لماذا هذا الأمر

أوبن‌إي‌آي، أنثروبيك وباحثون في الأمن يراجعون عشرات الآلاف من الحوادث التي قامت فيها نماذج الذكاء الاصطناعي المتقدمة بأفعال اعتبرها مقيمون مستقلون مُشكلة.

وبحسب إيتنا، قالت مصادر مطلعة لأكسيوس إن هذه الحوادث سُجلت في الأشهر الأخيرة، سواء في الاختبارات الداخلية أو في البيئات الحقيقية.

لماذا هذا الأمر مهم؟

حجم هذه الحوادث يشير إلى أن أبعاد المشكلة أعقد بكثير مما أُعلن حتى الآن. ما وُجد يطرح سؤالاً مهماً: هل لدى أوبن‌إي‌آي، أنثروبيك أو أي صانع آخر للنماذج المتقدمة القدرة الآن على التحكم الكامل في تقنيتهم؟

بحسب المصادر، تشمل هذه الحوادث التحايل على آليات الحماية، إنشاء قاعات دردشة بين عوامل الذكاء الاصطناعي، الهروب من بيئات الاختبار المعزولة (صندوق رمل)، اختطاف مواقع إلكترونية، إصدار أوامر إلى الذات والمحاولة لخداع أنظمة المراقبة.

جزء كبير من هذه الحالات لم يُنشر بعد ولا يزال الباحثون الأمنيون يحققون فيها. شدة الحوادث متفاوتة، بعض المحاولات نجحت وبعضها فشل وحتى الآن لم تُسجل أضرار فعلية لمعظمها. مع ذلك، تقول المصادر إن العدد الإجمالي للحالات قد يتجاوز عشرات الآلاف.

بعض هذه الاختبارات له طابع «الفريق الأحمر»؛ أي أن الشركات تُحرض النماذج عمداً على السلوك الخاطئ لاختبار أمانها.

ملف أوبن‌إي‌آي

في الأيام الأخيرة نشرت أوبن‌إي‌آي وباحثون مستقلون مجموعة من الحوادث. وفقاً لتقارير إعلامية، سربت عوامل الشركة ٥٣ صورة لمستخدمي ChatGPT على الإنترنت، اخترقوا موقعاً حكومياً في أستراليا وكانت هناك محاولات لاختراق مواقع أخرى، بما في ذلك مواقع الحكومة الأمريكية.

قال متحدث باسم أوبن‌إي‌آي إن الشركة أوقفت تدريب أقوى نماذجها ولن تستأنفه إلا عندما تتوفر تدابير أمان وتحسينات في المواءمة.

قال سام ألتمان، الرئيس التنفيذي للشركة، على منصة إكس إن المراجعات الجارية لم تتقدم بالسرعة المرغوبة. وبحسبه، كانت حادثة "هاجينغ فيس" الأشد المسجلة؛ حيث تم تنسيق مئات من عوامل الذكاء الاصطناعي عبر قاعة دردشة لاختراق شركة خارجية بهدف تحسين أدائهم في اختبار أمني سيبراني.

نهج أنثروبيك

كلّفت أنثروبيك جهة مستقلة للأمان بمراجعة سلوك نماذجها وفي وثائقها المنشورة كشفت تكرار السلوك غير الموائم. وفق "بطاقة النظام" للنموذج Opus 5.5 الذي أُطلق هذا الأسبوع، حاول النموذج الهروب من صندوق الرمل في ١.٥٪ من عمليات التشغيل التجريبية.

لكن الشركة أكدت أن هذه الحالات حدثت في اختبارات عدائية حيث لم يكن حل المشكلة ممكناً دون الهروب من صندوق الرمل.

لماذا الرقم كبير؟

بحسب المصادر، تجري شركات الذكاء الاصطناعي مئات الآلاف من عمليات التشغيل التجريبية أو أكثر على نماذجها. لذا حتى نسبة صغيرة من السلوك غير الموائم يمكن أن تؤدي إلى عشرات الآلاف من الحوادث.

دفعت حادثة هاجينغ فيس وحوادث مماثلة بعد ذلك كبار مسؤولي صناعة الذكاء الاصطناعي إلى الدعوة لإبطاء وتيرة التطوير والمطالبة بتنظيمات فدرالية ودولية أقوى.

يعتبر بعض العاملين في أوبن‌إي‌آي أن هاجينغ فيس حادثة معزولة ويعتقدون أنه بسبب تحسين الضوابط وطبيعة الاختبار غير المعتادة (الذي أُجري على نموذج غير مُطلق)، ستكون الإفصاحات المستقبلية أقل حدة.

يتفق باحثو أمن الذكاء الاصطناعي أيضاً على أن هناك حلولاً بسيطة لسد بعض العوامل التي جعلت هذه الحادثة خطرة.

لكن المدراء والباحثون الآخرين يحذرون من أنه لا يوجد يقين بأن الشركات ستتمكن من منع كل السلوكيات المسببة للمشاكل. تنفذ النماذج الجديدة المهام بعناد ملحوظ وتقييد إبداعها غالباً ما يكون لعبة خاسرة، لأن كل السبل الممكنة للخروج من السيطرة يجب توقعها.

وصف مدير أمن سيبراني إعداد قائمة كاملة بـ"ما يجب وما لا يجب" بأنه محاولة عبثية. ويقول خبراء أيضاً إن تقليص مخاطر عدم المواءمة إلى الصفر قد لا يكون ممكناً أصلاً وأن جزءاً من هذه السلوكيات طبيعي عند اختبار نماذج جديدة.

القلق الرئيسي هو أنه إذا كرر نموذج ما أفعالاً مُشكلة أثناء الاختبار، فهناك احتمال أكبر لوقوع حادث سيبراني حقيقي منه.

قال كونراد ستوش، باحث في مؤسسة التقييم المستقلة Translucence، إن ما رُصد حتى الآن من سلوك هذه العوامل هو مجرد قمة جبل الجليد.

كما شدد كونر ليهي، المدير التنفيذي لـControl AI، على أن النقطة الأساسية ليست شدة كل حادث، بل أن الأنظمة المستقلة تقوم بأفعال طُلب منها ألا تفعلها وقد تكون جرائمية.

من المتوقع أنه مع توسع قدرات النماذج المتقدمة ستُنشر إفصاحات جديدة عن السلوك الخاطئ للنماذج.

نُشر أصلاً في أخبار تكنولوجيا المعلومات - ايتنا

موضوعات هذا الخبر

  • هاجینغ فیس
  • الاختبار
  • الحوادث
  • أنثروبیک
  • أنه
  • بحسب
  • مستقلون
  • ممکنا
  • عوامل
  • لماذا
  • أوبن‌إی‌آی
  • أوقف
  • السلوک
  • العوامل
  • الحالات
  • مئات
  • الذکاء الاصطناعی
  • الموائم
  • أمن
  • وباحثون
  • یجری
  • خلف
  • المصادر
  • نماذجه
  • التجریبیه
  • یجب
  • صندوق
  • عشرات الآلاف
  • دردشه
  • الآن
  • للنماذج
  • لاختراق
  • أقوی
  • حادثه
  • مواقع
  • المشکله
  • الشرکه
  • الهروب
  • نماذجها
  • سیبرانی
  • عملیات
  • بأفعال
  • المستقله
  • المواءمه
  • حادث
  • المتقدمه
  • السلوکیات
  • الأخیره
  • مشکله
  • الرمل
  • أمان
  • تدریب
  • اختبار
  • فیها
  • الخاطئ
  • التنفیذی
  • تحسین
  • النماذج
  • شده
  • سلوک
  • التشغیل
  • الکوالیس
  • الاختبارات
  • الشرکات
  • نموذج