Andy Hall, METR’nin MALT veri kümesindeki günlükleri inceleyerek çeşitli modelleri değerlendirdi. Yüzde 5 yanlış alarm oranında GPT-5, 47 ödül hilesi vakasının yaklaşık yüzde 98’ini yakalarken Gemini 3.8 Flash vakaların yaklaşık yarısını buldu. Sandbagging vakalarının yüzde 71 ila 81’i yakalandı; bunların çoğu yapay olarak oluşturulmuştu.
Günlük görevlerden oluşan R-Judge testinde, denetçilerden güvenli olmayan eylemlerin yüzde 99’unu bulmaları istendiğinde en iyi model bile güvenli eylemlerin yüzde 15’ini yanlış işaretledi. Çalışma bir pilot; ödül hilesi sonuçları yalnızca 47 vakaya dayanıyor ve üreticiye ait modellerin tarafsızlığı henüz açıklığa kavuşmuş değil.
Neden önemli?
Yanlış alarmlar insan incelemecileri yorabilir ve gerçek sorunların gözden kaçmasına yol açabilir; çalışma, tespit oranını tek başına değerlendirmenin yetersiz olduğunu gösteriyor.
Bir deneme fikri
Varsayımsal bir ajan denetimi planında, farklı yakalama ve yanlış alarm oranlarının aylık inceleme yükünü nasıl değiştireceğini hesaplayın.
Sohbeti sen başlat.