VideoZeroBenchは、138本の長尺動画に関する500問でモデルをテストし、回答だけでなく、根拠が時間軸と空間上のどこに現れるかも特定できるかを調べました。論文によると、通常の回答スコアの最高値は17%でした。評価で正確な時間的・空間的グラウンディングも求めた場合、1%を超えたモデルはありませんでした。
このベンチマークでは、回答の正確さと、時間的・空間的な根拠に関する要件を分ける5段階のプロトコルを採用しています。442問には時間的根拠のアノテーションが、372問には空間的根拠が含まれており、動画の平均時間は667秒です。
著者らは、根拠のある領域を手動で拡大表示するとGemini-3-Proのスコアが40%を超えたと報告しています。これは、根拠の検索がボトルネックとなっている可能性を示すと述べています。タスク形式と難易度に違いがあるため、従来のベンチマークとの直接比較には限界があります。
回答だけを採点しても、モデルが関連する動画の根拠に基づいていたかは分かりません。このベンチマークは、回答とその視覚的な裏付けを別々に評価します。
動画分析システムを仮に評価する場合は、回答の正確さと、根拠として示された時間区間を別々の指標として追跡してください。
この記事を一緒に読み解きましょう。意味や重要性、アイデアの活用方法について質問してください。
あなたの仕事や関心に合わせた解説。
あなたに合った説明をお届けするため、あなたについて少し教えてください。
この変化はあなたにどんな影響を与えましたか？役立つ例を共有するか、ほかの読者に質問してみましょう。
会話に参加するにはログインしてくださいAutoTrust Labs released JEV-27B v1.1, a 27-billion-parameter model that returns option probabilities rather than free-form text. The company reports a score of 67.31 across 37 benchmarks; the model supports multiple-choice and yes/no questions only. The model selects among supplied options and returns a probability distribution. It stands out on tool selection and intent classification, but is weaker on open-ended reasoning and some other tests.
役に立ちましたか？
ある研究によると、AIモデルはエージェントのログにある不正行為の一部を検出できるが、検出率が高くなるほど、無害な行動についての警告も増える。この結果は、監査モデルは、すべての事案を検出しなければならない安全確認よりも、問題の発生頻度を推定する用途に適している可能性を示している。 Andy Hallは、METRのMALTデータセットのログを使って複数のモデルを評価した。誤警報率が5％の場合、GPT-5は報酬ハッキングの47事例のうち約98％を検出した一方、Gemini 3.8 Flashが検出したのは約半数だった。監査モデルは、サンドバッギングの事例の71〜81％を検出したが、その大半は合成データだった。
役に立ちましたか？
In Vals AI’s simulated tests, Deepseek V4.1 Flash 1017 came close to a leading closed model in some scenarios. The findings highlight the importance of long test runs and lower costs, but do not establish performance on real networks. In the Vals CyberOffense benchmark, agents pursued objectives in simulated corporate networks without human help. GPT-6 Sol Daybreak averaged 15.7/21 objectives in Nova and reached 27/31 in Lighthouse; Deepseek V4.1 Flash 1017 scored 16.3/21 and 21/31. Vals reports approximate run costs of $22 and $3, respectively.
役に立ちましたか？
会話を始める。