لم يعد الذكاء الاصطناعي مجرد أداة للإجابة على الأسئلة أو لتلخيص المستندات أو لتقديم الاقتراحات. لقد أدخل ظهور «العوامل الذكية» (AI Agents) هذه التقنية مرحلة جديدة؛ مرحلة يمكن للنظام فيها ليس فقط أن يتخذ قرارًا، بل أن ينفذ مجموعة من الإجراءات نيابة عن المستخدم.
يمكن للعوامل الذكية أداء مهام مثل حجز مواعيد، شراء منتجات، إرسال رسائل، إدارة العمليات الرقمية وحتى التفاعل مع أنظمة وخدمات خارجية. إن هذه الزيادة في الاستقلالية تطرح سؤالًا مهمًا حول المساءلة: إذا ارتكب عامل ذكي خطأً، من يجب أن يدفع ثمنه؟
هذا التحول يغيّر أيضًا طبيعة المخاطر المرتبطة بالذكاء الاصطناعي. في نظام تقليدي، إذا قدم شات بوت أو نموذج ذكاء اصطناعي معلومات خاطئة، غالبًا ما تتاح للمستخدم فرصة مراجعة الإجابة ثم يقرر ما إذا كان سينفذ إجراءً أم لا.
لكن عندما يمتلك عامل ذكي سلطة تنفيذ الإجراءات، يمكن لإجابة خاطئة أن تتحول في غضون ثوانٍ إلى قرار فعلي وما يؤدي في نهاية المطاف إلى عواقب مالية أو قانونية أو تشغيلية.
لم تعد المساءلة سهلة التشخيص
في النماذج التقليدية، كان تحديد مسؤول القرار أمرًا بسيطًا نسبيًا. يطرح المستخدم طلبه، يرد النظام، وفي النهاية الإنسان هو من ينفّذ الإجراء المطلوب.
لكن للعوامل الذكية بنية مختلفة. قد يحدد المستخدم هدفًا عامًّا فقط، ثم يقرر النظام بشكل مستقل الخطوات اللازمة لتحقيق ذلك الهدف وينفذها.
في مثل هذه الظروف تتشكل حدود المسؤولية بين عدة أطراف: المستخدم الذي حدّد مستوى الوصول والصلاحيات للعامل، المطوّر الذي صمّم النموذج، الشركة التي تقدّم المنصة والمزوّد أو العمل التجاري الذي أتاح إمكانية تنفيذ العمليات.
على سبيل المثال، إذا اتخذ عامل ذكي قرارًا خاطئًا بسبب سوء فهم لتعليمات المستخدم، هل تقع المسؤولية على المستخدم؟ من جهة أخرى، إذا كان الخطأ ناتجًا عن خلل في التصميم أو سلوك غير متوقع للنموذج أو عدم وجود آليات مناسبة لمراجعة الإجراءات، فهل يجب أن يتحمل المطوّر أو مشغّل النظام المسؤولية؟
تُظهر هذه الأسئلة أنه مع زيادة استقلالية العوامل، لن يكون تحديد المسؤولية بسيطًا كما في السابق.
كلما زادت الصلاحيات، يجب أن تزداد المساءلة أيضًا
المسألة الأساسية ليست فقط أن العوامل الذكية قد تخطئ. الخطأ جزء لا مفر منه من أداء العديد من الأنظمة المعقّدة. السؤال الأهم هو: ما مقدار الصلاحيات الممنوحة للعامل قبل وقوع الخطأ؟
كلما ابتعد العامل عن تقديم التوصيات وذهب نحو تنفيذ إجراءات ذات نتائج مباشرة، يجب أن تُضبط مستوى صلاحياته بما يتناسب مع مستوى المخاطر.
العامل الذي يقترح مطعمًا فقط لا يحتاج إلى نفس مستوى التحكم والمراقبة كما العامل القادر على إجراء عمليات شراء أو تعديل بنود عقد أو إرسال أمر ملزم.
ولهذا السبب، أحد المقترحات هو تصميم نظام هرمي لصلاحيات العوامل. في مثل هذا البناء، يمكن تنفيذ الإجراءات منخفضة المخاطر بمزيد من الاستقلالية، بينما يجب أن تُؤخذ الأنشطة الحساسة وعالية المخاطر بموافقة بشرية صريحة قبل التنفيذ.
في النهاية من يدفع ثمن الخطأ؟
قد تعتمد الإجابة على هذا السؤال على نوع الخطأ وظروف حدوثه والإطار القانوني السائد.
إذا منح المستخدم صلاحيات واسعة لعامل ذكي دون رقابة كافية، فقد تقع عليه جزء من المسؤولية. بالمقابل، إذا تبين أن النظام يعاني من خلل متوقع أو أنه يفتقر إلى الآليات اللازمة للتحكم والمصادقة على الإجراءات، فقد يُحمّل المطوّر أو المشغّل المسؤولية أيضًا.
تتعقد الحالة عندما لا يكون الخطأ ناتجًا مباشرة عن تعليمات المستخدم ولا نتيجة لخلل برمجي واضح؛ بل نتيجة سلسلة من قرارات العامل المستقلّة لتحقيق هدف عام.
في مثل هذه الظروف، سيكون من الصعب تحديد اللحظة التي اتخذ فيها القرار الخاطئ وتعيين أي طرف ينبغي أن يتحمل عواقب ذلك.
لماذا من المهم تسجيل سجل قرارات العامل؟
أحد الحلول المهمة لمعالجة هذه المشكلة هو إنشاء سجل يمكن مراجعته من القرارات والإجراءات التي يتخذها العامل.
في مثل هذا النظام يجب أن يكون واضحًا ما الإجراءات التي قام بها العامل، ما الصلاحيات التي استخدمها، على أي معلومات اعتمد، وأي نوع من المراجعات أو المصادقات جرت قبل تنفيذ كل إجراء.
بطبيعة الحال، قد لا يمنع تسجيل مثل هذا السجل حدوث أخطاء، لكنه بعد وقوع خطأ يمكن أن يجيب على سؤال حاسم: لماذا اتخذ العامل هذا القرار؟
وجود هذه المعلومات يمكن أن يساعد المستخدمين والشركات والجهات الرقابية على تحديد مصدر الخطأ، وتوضيح المسؤوليات بدقة أكبر، وإصلاح النظام لمنع تكرار مثل هذه الحوادث.
التحدي القادم للذكاء الاصطناعي؛ المساءلة في عصر العوامل
إن انتقال الذكاء الاصطناعي من «الإجابة» إلى «الفعل» يُعد من أهم التغيرات في علاقة الإنسان بالآلة.
مع زيادة استقلالية العوامل الذكية، لم يعد من الممكن اعتبار جودة الإجابة وحدها معيارًا كافيًا لتقييم النظام. في هذا الجيل الجديد من التقنية، يصبح أداء النظام بأمان، والالتزام بحدود الصلاحيات، والحصول على التفويض المناسب، وتسجيل الإجراءات القابلة لتتبعها أمورًا أكثر أهمية.
في النهاية، لم يعد السؤال الرئيسي فقط ما إذا كان عامل ذكي قادرًا على أداء مهمة أم لا؛ بل يجب أن نتساءل إذا أخطأ، ماذا سيحدث ومن سيتحمل عواقب ذلك؟
في عالم تتخذ فيه الأنظمة الذكية قرارات وتنفذ إجراءات نيابة عن البشر، يجب ألا تتجاوز قدرة العامل آليات مساءلته.
وإلا فقد نصل إلى نقطة تستطيع فيها الآلات اتخاذ القرارات وتنفيذها بينما لا يزال البشر لا يعرفون من يجب أن يدفع ثمن أخطاء تلك القرارات.