AI审计员能发现不当行为，但会产生大量误报

Andy Hall使用METR的MALT数据集日志评估了多个模型。在误报率为5%时，GPT-5检出了47起奖励作弊案例中的近98%，Gemini 3.8 Flash则只检出约一半。审计员检出了71%至81%的故意隐藏能力案例，其中大多数是合成案例。

在日常任务的R-Judge测试中，要求审计员检出99%的不安全行为时，即使表现最好的模型也会把15%的安全行为误判为不安全。这是一项试点研究；奖励作弊结果仅基于47个案例，而模型审计同一厂商的智能体是否公正仍未有定论。

为什么重要

误报会增加人工审核负担，也可能让真正的问题被忽略，因此仅看检出率不足以判断审计系统是否实用。