مدققو الذكاء الاصطناعي يرصدون السلوك المخالف، لكنهم يطلقون كثيرًا من الإنذارات الكاذبة

قيّم Andy Hall عدة نماذج باستخدام سجلات مجموعة بيانات MALT التابعة لـMETR. عند معدل إنذارات كاذبة يبلغ 5 بالمئة، رصد GPT-5 ما يقارب 98 بالمئة من 47 حالة من حالات التلاعب بالمكافآت، بينما رصد Gemini 3.8 Flash نحو نصفها. ورصد المدققون ما بين 71 و81 بالمئة من حالات خفض الأداء عمدًا، وكان معظمها اصطناعيًا.

في اختبار R-Judge للمهام اليومية، أدى طلب رصد 99 بالمئة من الأفعال غير الآمنة إلى أن يصنّف حتى أفضل نموذج 15 بالمئة من الأفعال الآمنة تصنيفًا خاطئًا. هذا العمل تجربة أولية؛ وتعتمد نتائج التلاعب بالمكافآت على 47 حالة فقط، ولا تزال مسألة حياد النماذج عند تدقيقها لوكلاء من صنع الجهة المطوّرة نفسها بلا حل.

لماذا يهم

قد تثقل الإنذارات الكاذبة كاهل المراجعين البشريين وتتسبب في عدم ملاحظة المشكلات الحقيقية، لذا لا تكفي معدلات الرصد وحدها لمعرفة ما إذا كان نظام التدقيق مفيدًا.