AutoTrust Labs released JEV-27B v1.1, a 27-billion-parameter model that returns option probabilities rather than free-form text. The company reports a score of 67.31 across 37 benchmarks; the model supports multiple-choice and yes/no questions only. The model selects among supplied options and returns a probability distribution. It stands out on tool selection and intent classification, but is weaker on open-ended reasoning and some other tests.
ある研究によると、AIモデルはエージェントのログにある不正行為の一部を検出できるが、検出率が高くなるほど、無害な行動についての警告も増える。この結果は、監査モデルは、すべての事案を検出しなければならない安全確認よりも、問題の発生頻度を推定する用途に適している可能性を示している。 Andy Hallは、METRのMALTデータセットのログを使って複数のモデルを評価した。誤警報率が5%の場合、GPT-5は報酬ハッキングの47事例のうち約98%を検出した一方、Gemini 3.8 Flashが検出したのは約半数だった。監査モデルは、サンドバッギングの事例の71〜81%を検出したが、その大半は合成データだった。
会話を始める。