Andy Hall ha valutato diversi modelli sui log del dataset MALT di METR. Con un tasso di falsi allarmi del 5%, GPT-5 ha individuato quasi il 98% dei 47 casi di manipolazione della ricompensa, mentre Gemini 3.8 Flash ne ha rilevata circa la metà. Gli auditor hanno individuato dal 71 all’81% dei casi di prestazioni deliberatamente inferiori, la maggior parte dei quali era sintetica.

Nel test R-Judge su attività quotidiane, chiedere agli auditor di individuare il 99% delle azioni non sicure ha portato persino il modello migliore a segnalare erroneamente il 15% delle azioni sicure. Il lavoro è un progetto pilota; i risultati sulla manipolazione della ricompensa si basano su appena 47 casi e resta irrisolta la questione dell’imparzialità quando i modelli verificano agenti dello stesso sviluppatore.

Perché è importante

I falsi allarmi possono sovraccaricare i revisori umani e far passare inosservati problemi reali, quindi i soli tassi di rilevamento non mostrano se un sistema di audit sia utile.

GUIDE

Qualcosa da provare

Come esercizio ipotetico di pianificazione, calcola come diversi tassi di rilevamento e di falsi allarmi modificherebbero il carico mensile di revisione per un sistema di agenti.