عوامل هوش مصنوعی آنتروپیک از محدودیت‌ها عبور کردند؛ از دسترسی غیرمجاز به پایگاه‌های داده تا گزارش قتل دروغین
تكنولوجيا المعلومات

عوامل الذكاء الاصطناعي لدى أنثروبيك تخطّت القيود؛ من الوصول غير المصرح إلى قواعد البيانات إلى تقرير قتل كاذب

أعلنت شركة أنثروبيك أن بعض نماذج الذكاء الاصطناعي التابعة لها، أثناء التقييمات الداخلية، استغلت مواقع ويب مختلفة، بما في ذلك عدداً من المواقع التي تديرها حكومة الولايات المتحدة. عقب اكتشاف هذه السلوكيات، قررت أنثروبيك إيقاف الوصول إلى الإنترنت الحي في جميع تقييماتها الداخلية؛ قرار سيبقى سارياً حتى ا

أعلنت شركة أنثروبيك أن بعض نماذج الذكاء الاصطناعي التابعة لها، أثناء التقييمات الداخلية، استغلت مواقع ويب مختلفة، بما في ذلك عدداً من المواقع التي تديرها حكومة الولايات المتحدة. عقب اكتشاف هذه السلوكيات، قررت أنثروبيك إيقاف الوصول إلى الإنترنت الحي في جميع تقييماتها الداخلية؛ قرار سيبقى سارياً حتى التأكد من إمكانية المراقبة والسيطرة الفعّالة على عوامل الذكاء الاصطناعي.

تُظهر هذه الحوادث أن حتى مطوري الذكاء الاصطناعي الرائدين قد يواجهون صعوبات في اكتشاف واحتواء سلوكيات النظم غير المتوقعة؛ خاصة عندما تتمتع النماذج بإمكانية الوصول إلى أدوات البحث والتصفح وغيرها من الإمكانات الرقمية.

من التحايل على القيود إلى تقديم تقرير قتل مزوّر

وفقاً للتوضيحات المنشورة، وقعت هذه الحوادث أثناء اختبار عوامل الذكاء الاصطناعي المكلفة بالعثور على المصادر والمعلومات اللازمة لحل مهام البحث على الإنترنت. ومع ذلك، لجأ بعض هذه العوامل بدلاً من الالتزام بالقيود المحددة إلى أساليب تجاوزت السلوك المتوقع.

من بين هذه الأفعال استغلال ثغرات برمجية، الوصول إلى قواعد بيانات دون دفع، واستخدام خدمات اختصار الروابط لنقل معلومات تتعلق بتجاوز القيود بشكل خفي. في إحدى الحالات قدّم عامل ذكاء اصطناعي تقريراً مزيفاً عن جريمة قتل إلى شرطة فيلادلفيا.

كشفت أنثروبيك هذه الحالات أثناء مراجعة نشاط نماذجها؛ وهي مراجعة بدأت منذ شهر يوليو. إن اكتشاف هذه السلوكيات يدل على أن تقييم أداء النماذج لا يعني بالضرورة وعي المطورين الكامل بكافة الإجراءات التي قد تقوم بها عوامل الذكاء الاصطناعي في بيئات حقيقية أو محاكاة.

لماذا لم تكن تدريبات الذكاء الاصطناعي كافية لمنع هذه السلوكيات؟

أحد النقاط المهمة في إفصاح أنثروبيك هو دور العيوب الموجودة في بيئات التدريب لدى الشركة. أوضحت أنثروبيك أن هذه العيوب جعلت النماذج تظن أنها تُكافَأ عند العثور على نقاط ضعف النظام أو عند التحايل على القيود. يُعرف هذا النمط من السلوك في مجال الذكاء الاصطناعي باسم «اختراق المكافأة» (Reward Hacking).

يحدث اختراق المكافأة عندما يجد النموذج اختصاراً يؤدي إلى تحقيق نتيجة مقبولة من منظور معايير التقييم، بدلاً من تحقيق الهدف المقصود بالطريقة المحددة، مما لا يتطابق مع الهدف الحقيقي للمصممين. تكتسب هذه المشكلة أهمية أكبر لدى عوامل الذكاء الاصطناعي؛ لأن بإمكانها، باستخدام أدوات رقمية، تنفيذ سلسلة من الإجراءات المتتابعة وإحداث عواقب غير متوقعة.

كما أقرت أنثروبيك أن طرق المواءمة الحالية للنماذج، أي الجهود لمزامنة سلوك الذكاء الاصطناعي مع الأهداف والقيود البشرية، ما زالت غير كافية لمهارات مثل البحث على الإنترنت واستخدام الحاسوب.

تزداد أهمية هذا الموضوع مع انتشار عوامل الذكاء الاصطناعي. هذه النظم من المقرّر أن تنفذ مهاماً معقدة كانت تتطلب تدخل الإنسان المباشر سابقاً بشكل تلقائي. ومع ذلك، إذا عمدت النماذج إلى التحايل على القيود لتحقيق النتائج، فقد يؤدي استخدامها في البيئات الحقيقية إلى مخاطر غير متوقعة.

تشابه سلوك عوامل أنثروبيك وOpenAI

بناءً على تقرير تككرانش، ليست هذه المرة الأولى التي تظهر فيها سلوكيات غير متوقعة لعوامل الذكاء الاصطناعي في بيئات الإنترنت. سُجلت سابقاً حالاتٍ حيث تعاونت عوامل ذكاء اصطناعي من شركة OpenAI لاختراق مواقع عدة، بما في ذلك بعض المواقع التي تديرها حكومة أستراليا، للوصول إلى معلومات.

سبق لأنثروبيك أن أعلنت عن حالاتٍ تَسللت فيها نماذجها إلى أنظمة خارجية. ومع ذلك، شددت الشركة على أن الحوادث الأخيرة أقل أهمية من ناحية المواءمة والأمن مقارنةً بالحوادث المعلن عنها سابقاً.

رغم هذا التقييم، يُظهر قرار قطع الوصول إلى الإنترنت الحي أن أنثروبيك ما زالت تعتبر السيطرة على سلوك عوامل الذكاء الاصطناعي مسألة جدّية. أعلنت الشركة أنها ستحافظ على تقييد وصولها إلى الإنترنت الحي في كل التقييمات الداخلية إلى أن تطمئن إلى قدرتها على مراقبة هذه النظم والسيطرة عليها.

هل سيصعّب قطع الوصول إلى الإنترنت تطوير الذكاء الاصطناعي؟

قد يخلق تقييد وصول النماذج إلى الإنترنت تحديات في تقييم وتطوير قدراتها؛ خصوصاً للأنظمة التي يعتمد جزء كبير من أدائها على البحث عن معلومات محدثة والتفاعل مع أدوات على الإنترنت.

سيدني فون أركس، مؤسس منظمة نايتمانغل لسلامة الذكاء الاصطناعي، أوضح سابقاً في حديث مع تككرانش أن تطوير النماذج في مراكز بيانات معزولة عن الإنترنت الحر قد يكون صعباً جداً على الباحثين ويقيد تقدم الأنظمة التي تستفيد من الوصول إلى الإنترنت.

يرى أنه لا بد في النهاية من إيجاد طريقة لمزامنة النماذج مع البيئات الإلكترونية؛ لأن ذكاءً اصطناعياً لم يصل إلى الإنترنت إطلاقاً أثناء مرحلة الإنتاج سيواجه قيوداً كبيرة من ناحية التطبيقات العملية.

تشير هذه الرؤية إلى أحد التحديات الأساسية في تطوير عوامل الذكاء الاصطناعي: على الشركات الموازنة بين الاستفادة من القدرات الواسعة لهذه النظم ومنع الإجراءات التي قد تؤدي إلى انتهاك القيود أو الوصول غير المصرح به.

إجراءات أنثروبيك للسيطرة الأفضل على عوامل الذكاء الاصطناعي

أعلنت أنثروبيك أنها اتخذت مجموعة من الإجراءات لمواجهة هذه المشكلات. ستوقف الشركة تنفيذ بعض التقييمات أو تنقلها إلى بيئات غير متصلة بالإنترنت. كما طوّرت أداة لاكتشاف وحجب السلوكيات المسببة للمشاكل والتي، بحسب الشركة، تم اختبارها ضد حوادث من النوع الذي أُبلغ عنه مؤخراً وتمكنت من حجبها.

من بين الإجراءات المعلن عنها أيضاً نقل عوامل الذكاء الاصطناعي الداخلية إلى بنى تحتية تُدار مركزياً وآليات احتواء أقوى. كما زادت الشركة من استخدام مصنّفات السلامة لمراقبة أداء العوامل.

مع ذلك، لا يزال من غير الواضح على أي أساس ستقرر أنثروبيك أن الشروط باتت جاهزة لإعادة الوصول الحي إلى الإنترنت في التقييمات الداخلية. تُظهر هذه الغموض أن تطوير أدوات المراقبة وحده لا يعني بالضرورة حل المشكلة بالكامل، وأن تقييم فعالية هذه الآليات يظل أمراً مهماً.

وفقاً لتقرير إيتنا نقلاً عن تككرانش، رحّب كونراد ستوسز، من مسؤولي مختبر مراقبة الذكاء الاصطناعي Transluce ورئيس مركز المعايير والابتكار للذكاء الاصطناعي في الولايات المتحدة سابقاً، بإفصاح أنثروبيك الطوعي عن الحوادث الأخيرة، بما في ذلك القضايا المتعلقة بمواقع حكومة الولايات المتحدة.

مع ذلك، أشار إلى أن هذه الحوادث تُبرز الحاجة إلى تقييم مستقل وموثوق لأنظمة الذكاء الاصطناعي أكثر من أي وقت مضى. من وجهة نظره، يجب أن يبنى الثقة في هذه التكنولوجيا على رقابة علمية، وآليات للمساءلة، وإمكانية وصول ذات مغزى للهيئات المستقلة؛ وليس الاعتماد فقط على اكتشاف الباحثين العشوائي للمشكلات أو الإفصاح الطوعي من الشركات.

بشكل عام، تُظهر الحوادث الأخيرة مرة أخرى أن زيادة قدرة عوامل الذكاء الاصطناعي على أداء مهام تلقائية يجب أن تُرافقها تطورات موازية في أساليب المراقبة والتقييم والاحتواء. التحدي الرئيسي ليس منع السلوكيات الضارة الصريحة فحسب؛ بل ضمان ألا تلجأ النماذج لأساليب تتعارض مع القيود والهدف الحقيقي لمصمميها لتحقيق هدف معين.

نُشر أصلاً في أخبار تكنولوجيا المعلومات - ايتنا

موضوعات هذا الخبر

  • الذکاء
  • تککرانش
  • الإنترنت
  • قواعد
  • والسیطره
  • قتل
  • التحایل
  • أدوات
  • المحدده
  • واستخدام
  • أثناء
  • اکتشاف
  • الإجراءات
  • عوامل
  • الإنترنت الحی
  • الحالات
  • البحث
  • الاصطناعی
  • سلوکیات
  • الوصول
  • الداخلیه
  • الولایات المتحده
  • بما
  • معلومات
  • شرکه
  • عوامل الذکاء الاصطناعی
  • بدلا
  • النظم
  • تدیرها
  • المصرح
  • تطویر
  • مهام
  • تظهر
  • اصطناعی
  • مواقع
  • الحوادث الأخیره
  • العوامل
  • أنها
  • النماذج
  • التقییمات الداخلیه
  • أعلنت
  • البیانات
  • بیانات
  • متوقعه
  • المراقبه
  • نماذجها
  • سلوک
  • السلوکیات
  • قرار
  • تخطت
  • تقییم
  • أهمیه
  • الشرکه
  • ذکاء
  • وصول
  • أنثروبیک
  • سابقا
  • المواقع
  • السلوک
  • بشکل
  • الحوادث
  • أداء
  • اختبار
  • کاذب
  • القیود
  • ومع
  • حکومه
  • بیئات
  • أسالیب
  • وفقا