এআই নিরীক্ষকেরা অসদাচরণ শনাক্ত করেন, তবে অনেক ভুল সতর্কবার্তাও তৈরি করেন

Andy Hall, METR-এর MALT ডেটাসেটের লগ ব্যবহার করে কয়েকটি মডেলের মূল্যায়ন করেছেন। ৫ শতাংশ ভুল-সতর্কতার হারে GPT-5 রিওয়ার্ড হ্যাকিংয়ের ৪৭টি ঘটনার মধ্যে প্রায় ৯৮ শতাংশ শনাক্ত করেছে, আর Gemini 3.8 Flash শনাক্ত করেছে প্রায় অর্ধেক। নিরীক্ষকেরা স্যান্ডব্যাগিংয়ের ৭১ থেকে ৮১ শতাংশ ঘটনা ধরেছেন, যার অধিকাংশই কৃত্রিমভাবে তৈরি ছিল।

দৈনন্দিন কাজভিত্তিক R-Judge পরীক্ষায়, নিরীক্ষকদের দিয়ে ৯৯ শতাংশ অনিরাপদ কাজ শনাক্ত করাতে গেলে সেরা মডেলটিও ১৫ শতাংশ নিরাপদ কাজকে ভুলভাবে চিহ্নিত করেছে। কাজটি একটি পাইলট; রিওয়ার্ড হ্যাকিংয়ের ফল মাত্র ৪৭টি ঘটনার ওপর নির্ভরশীল, আর মডেলগুলো যখন তাদের নিজস্ব নির্মাতার এজেন্ট নিরীক্ষা করে, তখন নিরপেক্ষতা বজায় থাকে কি না, সেই প্রশ্নের সমাধান হয়নি।

কেন এটি গুরুত্বপূর্ণ

ভুল সতর্কবার্তা মানব পর্যালোচকদের ওপর চাপ বাড়াতে পারে এবং প্রকৃত সমস্যা নজর এড়িয়ে যেতে পারে। তাই শুধু শনাক্তকরণের হার দিয়ে নিরীক্ষা ব্যবস্থা কার্যকর কি না বোঝা যায় না।