ある研究によると、AIモデルはエージェントのログにある不正行為の一部を検出できるが、検出率が高くなるほど、無害な行動についての警告も増える。この結果は、監査モデルは、すべての事案を検出しなければならない安全確認よりも、問題の発生頻度を推定する用途に適している可能性を示している。 Andy Hallは、METRのMALTデータセットのログを使って複数のモデルを評価した。誤警報率が5％の場合、GPT-5は報酬ハッキングの47事例のうち約98％を検出した一方、Gemini 3.8 Flashが検出したのは約半数だった。監査モデルは、サンドバッギングの事例の71〜81％を検出したが、その大半は合成データだった。
In Vals AI’s simulated tests, Deepseek V4.1 Flash 1017 came close to a leading closed model in some scenarios. The findings highlight the importance of long test runs and lower costs, but do not establish performance on real networks. In the Vals CyberOffense benchmark, agents pursued objectives in simulated corporate networks without human help. GPT-6 Sol Daybreak averaged 15.7/21 objectives in Nova and reached 27/31 in Lighthouse; Deepseek V4.1 Flash 1017 scored 16.3/21 and 21/31. Vals reports approximate run costs of $22 and $3, respectively.
会話を始める。