ある研究によると、AIモデルはエージェントのログにある不正行為の一部を検出できるが、検出率が高くなるほど、無害な行動についての警告も増える。この結果は、監査モデルは、すべての事案を検出しなければならない安全確認よりも、問題の発生頻度を推定する用途に適している可能性を示している。
Andy Hallは、METRのMALTデータセットのログを使って複数のモデルを評価した。誤警報率が5％の場合、GPT-5は報酬ハッキングの47事例のうち約98％を検出した一方、Gemini 3.8 Flashが検出したのは約半数だった。監査モデルは、サンドバッギングの事例の71〜81％を検出したが、その大半は合成データだった。
日常的なタスクを扱うR-Judgeテストでは、監査モデルに危険な行動の99％を検出させようとすると、最良のモデルでさえ安全な行動の15％を誤って危険と判定した。この研究はパイロット段階であり、報酬ハッキングの結果はわずか47事例に基づいている。また、モデルが自社製のエージェントを監査する場合に公正性を保てるかという問題も未解決だ。
誤警報は人間のレビュアーに負担をかけ、本当の問題を見逃す原因にもなる。そのため、検出率だけでは監査システムが有用かどうかは分からない。
仮定に基づく計画演習として、検出率と誤警報率の違いによって、エージェントシステムの月間レビュー業務量がどう変わるかを計算してみよう。
この記事を一緒に読み解きましょう。意味や重要性、アイデアの活用方法について質問してください。
あなたの仕事や関心に合わせた解説。
あなたに合った説明をお届けするため、あなたについて少し教えてください。
この変化はあなたにどんな影響を与えましたか？役立つ例を共有するか、ほかの読者に質問してみましょう。
会話に参加するにはログインしてくださいオープンソースのBarkは、1つのテキストプロンプトから音声、音楽、笑い声、効果音を生成できます。情報源によると、13言語と100種類を超える音声プリセットに対応していますが、文言を変えたり、予期しない音を加えたりすることがあります。 Barkは約13～14秒の音声クリップを生成し、MITライセンスで公開されています。情報源によると、フルモデルには約12 GBのGPUメモリが必要で、より少ないメモリで使える小型のバリアントも用意されています。
役に立ちましたか？
AutoTrust Labs released JEV-27B v1.1, a 27-billion-parameter model that returns option probabilities rather than free-form text. The company reports a score of 67.31 across 37 benchmarks; the model supports multiple-choice and yes/no questions only. The model selects among supplied options and returns a probability distribution. It stands out on tool selection and intent classification, but is weaker on open-ended reasoning and some other tests.
役に立ちましたか？
In Vals AI’s simulated tests, Deepseek V4.1 Flash 1017 came close to a leading closed model in some scenarios. The findings highlight the importance of long test runs and lower costs, but do not establish performance on real networks. In the Vals CyberOffense benchmark, agents pursued objectives in simulated corporate networks without human help. GPT-6 Sol Daybreak averaged 15.7/21 objectives in Nova and reached 27/31 in Lighthouse; Deepseek V4.1 Flash 1017 scored 16.3/21 and 21/31. Vals reports approximate run costs of $22 and $3, respectively.
役に立ちましたか？
会話を始める。