该基准采用五级协议,将答案准确率与时间、空间证据要求区分开。442 道题标注了时间证据,372 道题标注了空间证据;视频平均时长为 667 秒。

作者报告称,人工放大证据区域后,Gemini-3-Pro 的得分超过 40%。他们认为这表明证据检索可能是瓶颈。由于任务格式和难度不同,与早期基准直接比较的结论有限。

为什么重要

只评判答案无法判断模型是否依据了相关视频内容。该基准尝试分别评估答案及其视觉依据。

指南

试一试

假设你要评估视频分析系统,可将答案准确率与所指出的证据时间段分别记录。