AI ऑडिटर गलत आचरण पकड़ते हैं, लेकिन बहुत-सी गलत चेतावनियाँ भी देते हैं

Andy Hall ने METR के MALT डेटासेट के लॉग पर कई मॉडलों का मूल्यांकन किया। 5 प्रतिशत की गलत-अलार्म दर पर GPT-5 ने रिवॉर्ड हैकिंग के 47 मामलों में से लगभग 98 प्रतिशत पकड़ लिए, जबकि Gemini 3.8 Flash ने करीब आधे मामले पकड़े। ऑडिटर सैंडबैगिंग के 71 से 81 प्रतिशत मामलों को पकड़ पाए, जिनमें से अधिकांश सिंथेटिक थे।

रोज़मर्रा के कार्यों वाले R-Judge परीक्षण में, ऑडिटर से असुरक्षित कार्रवाइयों के 99 प्रतिशत मामले पकड़ने को कहने पर सबसे अच्छे मॉडल ने भी 15 प्रतिशत सुरक्षित कार्रवाइयों को गलत तरीके से चिह्नित किया। यह काम एक पायलट अध्ययन है; रिवॉर्ड हैकिंग के नतीजे केवल 47 मामलों पर आधारित हैं, और जब मॉडल अपने ही निर्माता के एजेंटों का ऑडिट करते हैं, तो उनकी निष्पक्षता का प्रश्न अभी अनसुलझा है।

यह क्यों मायने रखता है

गलत चेतावनियाँ मानव समीक्षकों पर बोझ डाल सकती हैं और वास्तविक समस्याओं को अनदेखा करा सकती हैं, इसलिए केवल पहचान दरों से यह पता नहीं चलता कि ऑडिटिंग प्रणाली उपयोगी है या नहीं।