该基准采用五级协议,将答案准确率与时间、空间证据要求区分开。442 道题标注了时间证据,372 道题标注了空间证据;视频平均时长为 667 秒。
作者报告称,人工放大证据区域后,Gemini-3-Pro 的得分超过 40%。他们认为这表明证据检索可能是瓶颈。由于任务格式和难度不同,与早期基准直接比较的结论有限。
为什么重要
只评判答案无法判断模型是否依据了相关视频内容。该基准尝试分别评估答案及其视觉依据。
试一试
假设你要评估视频分析系统,可将答案准确率与所指出的证据时间段分别记录。
VideoZeroBench 用来自 138 段长视频的 500 道问题,测试模型能否找到答案,以及证据出现的时间和画面位置。据论文称,标准问答最高准确率为 17%;若还要求时空定位正确,没有模型超过 1%。
该基准采用五级协议,将答案准确率与时间、空间证据要求区分开。442 道题标注了时间证据,372 道题标注了空间证据;视频平均时长为 667 秒。
作者报告称,人工放大证据区域后,Gemini-3-Pro 的得分超过 40%。他们认为这表明证据检索可能是瓶颈。由于任务格式和难度不同,与早期基准直接比较的结论有限。
只评判答案无法判断模型是否依据了相关视频内容。该基准尝试分别评估答案及其视觉依据。
假设你要评估视频分析系统,可将答案准确率与所指出的证据时间段分别记录。
一起读懂这篇文章。你可以问它意味着什么、为何重要,或如何应用这个想法。
结合你的工作和兴趣,为你解释。
先介绍一下自己,让解释更适合你。
这条进展对你有什么影响?分享实例,或向其他读者提问。
登录后参与讨论
开启讨论。