Andy Hall evaluó varios modelos con registros del conjunto MALT de METR. Con una tasa de falsas alarmas del 5 %, GPT-5 detectó casi el 98 % de 47 casos de manipulación de recompensas, mientras Gemini 3.8 Flash encontró aproximadamente la mitad. Los auditores detectaron entre el 71 % y el 81 % de los casos de sandbagging, la mayoría sintéticos.

En la prueba R-Judge de tareas cotidianas, exigir que los auditores detectaran el 99 % de las acciones inseguras llevó incluso al mejor modelo a marcar erróneamente el 15 % de las acciones seguras. El trabajo es un estudio piloto: los resultados sobre manipulación de recompensas se basan solo en 47 casos y sigue sin resolverse la imparcialidad al auditar agentes del propio fabricante.

Por qué importa

Las falsas alarmas pueden sobrecargar a quienes revisan los casos y hacer que se pasen por alto problemas reales; por eso, la tasa de detección por sí sola no basta para valorar un sistema de auditoría.

GUÍAS

Una idea para probar

Como ejercicio hipotético de planificación, calcula cómo cambiaría la carga mensual de revisión con distintas tasas de detección y falsas alarmas.