فناوری جدیدی که رفتارهای خطرناک هوش مصنوعی را پیش از وقوع شناسایی می‌کند
تكنولوجيا المعلومات

تكنولوژي جديدة تكشف السلوكيات الخطرة للذكاء الاصطناعي قبل حدوثها

مع تزايد قدرة أنظمة الذكاء الاصطناعي على أداء مهام معقدة ومستقلة، أصبح مراقبة سلوك هذه النماذج أحد التحديات الرئيسية في صناعة التكنولوجيا. الآن تعمل شركة ناشئة تُدعى Goodfire على تغيير طريقة مراقبة الذكاء الاصطناعي بتطوير تقنية جديدة؛ تقنية تراقب الأنشطة الداخلية للنموذج أثناء أداء المهام بدلاً من ف

مع تزايد قدرة أنظمة الذكاء الاصطناعي على أداء مهام معقدة ومستقلة، أصبح مراقبة سلوك هذه النماذج أحد التحديات الرئيسية في صناعة التكنولوجيا. الآن تعمل شركة ناشئة تُدعى Goodfire على تغيير طريقة مراقبة الذكاء الاصطناعي بتطوير تقنية جديدة؛ تقنية تراقب الأنشطة الداخلية للنموذج أثناء أداء المهام بدلاً من فحص الإجابات المنتجة فقط.

هدف هذه التقنية هو التعرف على العلامات المبكرة للسلوكيات الخطرة قبل أن تتحول إلى أفعال فعلية؛ نهج يمكن أن يساعد في زيادة أمان أنظمة الذكاء الاصطناعي، لا سيما النماذج التي تعمل بدون تدخل بشري مباشر.

التعرف على السلوكيات المشتبه بها من خلال فحص الإشارات الداخلية

استخدمت Goodfire أدوات تحليلية صغيرة تُعرف باسم «مستشعرات» لتطوير هذا النظام. تفحص هذه المستشعرات الإشارات الداخلية لنموذج الذكاء الاصطناعي أثناء تنفيذ المهام وتبحث عن أنماط قد تكون مرتبطة بالسلوكيات غير المرغوب فيها.

ومن بين السلوكيات التي صُممت هذه التقنية للتعرف عليها محاولات إجراء هجمات إلكترونية وتجاوز القيود أو آليات التحكم في النظام.

تختلف هذه الطريقة عن طرق المراقبة التقليدية للذكاء الاصطناعي. في النهج التقليدي، عادةً ما يُستخدم نموذج ذكاء اصطناعي آخر لفحص المخرجات وخطوات أداء المهام للنموذج الأساسي. مثل هذه العملية يمكن أن تكون مكلفة إلى حد كبير، خاصة عندما تعمل الأنظمة لساعات طويلة وتعالج كميات كبيرة من البيانات.

لكن تقنية Goodfire بدلاً من فحص جميع خطوات نشاط النموذج بمساعدة ذكاء اصطناعي آخر، تراقب الإشارات الداخلية باستمرار وتُحيل الحالات المشبوهة فقط لتقييم أدق إلى نموذج آخر.

كما يتيح هذا النظام للمشغلين تحديد نوع المخاطر التي يجب اكتشافها. يمكنهم تحديد الإجراء الذي يجب اتخاذه بعد اكتشاف نشاط مريب؛ من تسجيل الحدث إلى إحالته للمراجعة البشرية أو رفض الطلب.

الكشف عن 94 في المئة من جلسات الاختراق الخبيثة في الاختبارات

أعلنت Goodfire أنها اختبرت تقنيتها الجديدة باستخدام نموذج الذكاء الاصطناعي Kimi K3 في حوالي 1500 جلسة اختبار. بناءً على النتائج المعلنة، تمكن هذا النظام من التعرف على 94 في المئة من الجلسات المتعلقة بأنشطة الاختراق الخبيثة. بالمقابل، تم وسم 8.7 في المئة من الجلسات السليمة على أنها تتطلب مزيداً من الفحص.

تشير هذه النتائج إلى أن التقنية الجديدة في الاختبارات التي أُجريت تمكنت من الكشف عن جزء كبير من الأنشطة الخبيثة، رغم أن إحالة بعض الأنشطة السليمة للمزيد من الفحص تُظهر أن احتمالية الإنذارات الزائدة لا تزال موجودة.

انخفاض ملحوظ في تكلفة مراقبة الذكاء الاصطناعي

أحد أهم المزايا المزعومة لتقنية Goodfire هو تقليل تكلفة مراقبة نماذج الذكاء الاصطناعي. وفق الأرقام التي نشرتها الشركة، كلفت مراقبة جلسات الاختبار باستخدام النظام الجديد حوالي 51 دولاراً فقط.

وذلك بينما كلف فحص جميع خطوات نشاط النموذج باستخدام نموذج ذكاء اصطناعي أرخص حوالي 233 دولاراً، واستخدام نموذج متقدّم لأداء نفس المهمة أحدث تكلفة تقارب 10000 دولار.

وبذلك، كانت تكلفة استخدام تقنية Goodfire في هذه الاختبارات أقل بنحو 78 في المئة مقارنة بالطريقة المعتمدة على النموذج الأرخص. كما أعلنت الشركة أن تفعيل أربعة مستشعرات متزامنة زاد زمن بدء استجابة النموذج بأقل من 2 في المئة؛ ما يدل على أن استخدام هذه التقنية على الأقل في ظروف الاختبار كان له تأثير محدود على سرعة الاستجابة.

توافر تقنية Goodfire للشركات

بحسب تقرير إيتنا نقلاً عن TechCrunch، أصبحت تقنية المراقبة الخاصة بـ Goodfire متاحة الآن لعملاء منصة Baseten؛ وهي منصة تقدم خدمات استضافة وتشغيل نماذج الذكاء الاصطناعي للشركات.

تُطرح هذه التقنية في وقت تتصاعد فيه المخاوف بشأن انتشار استخدام الوكلاء المعتمدين على الذكاء الاصطناعي. يمكن لهذه الأنظمة أداء مهام معقدة بشكل مستقل، لكن نفس القدرة تثير مخاوف بشأن احتمال استغلال الثغرات الأمنية أو تجاوز القيود المفروضة عليها.

مع وجود نتائج واعدة، يجب ملاحظة أن الإحصاءات المنشورة مبنية على اختبارات أجرتها Goodfire نفسها ولم تُقدَّم بعد أدلة مستقلة تُظهر أن هذه التقنية ستؤدي أداءً مماثلاً عبر جميع النماذج والظروف التشغيلية.

كما أن فحص الإشارات الداخلية للنماذج لا يعني بالضرورة فهم الأهداف أو عمليات اتخاذ القرار بالكامل لدى الذكاء الاصطناعي، ولا يمكنه ضمان منع جميع السلوكيات الخطرة.

مع ذلك، قد يفتح نهج Goodfire مساراً جديداً لتطوير أدوات مراقبة أقل تكلفة؛ أدوات تسعى بدلاً من الاعتماد على الفحص المستمر للمخرجات إلى التعرف على علامات السلوكيات عالية الخطورة أثناء نشاط النموذج.

نُشر أصلاً في أخبار تكنولوجيا المعلومات - ايتنا

موضوعات هذا الخبر

  • تقنیه goodfire
  • جمیع
  • تکنولوژی
  • خطوات
  • لتطویر
  • حدوثها
  • استخدام
  • القیود
  • مراقبه
  • النتائج
  • الاختبارات
  • أدوات
  • السلیمه
  • مستشعرات
  • goodfire
  • التعرف
  • حوالی
  • نشاط النموذج
  • تکلفه
  • للذکاء
  • الخبیثه
  • باستخدام
  • علیها
  • أداء
  • التقنیه
  • المهام
  • جلسات
  • الجدیده
  • الذکاء الاصطناعی
  • للنموذج
  • بدلا
  • معقده
  • الإشارات الداخلیه
  • أعلنت
  • النماذج
  • فقط
  • أحد
  • الخطره
  • النظام
  • نموذج
  • الکشف
  • تعمل
  • أثناء
  • المراقبه
  • نماذج
  • الاختراق
  • الجلسات
  • اکتشاف
  • ذکاء اصطناعی
  • الأنظمه
  • تکشف
  • فحص
  • تراقب
  • یجب
  • النموذج
  • الفحص
  • الاصطناعی
  • تحدید
  • المئه
  • تقنیه
  • أنظمه
  • أنها
  • تظهر
  • السلوکیات
  • الأنشطه
  • مهام
  • الآن
  • آخر
  • نهج
  • یمکن