Le benchmark utilise un protocole à cinq niveaux qui distingue l’exactitude des réponses des exigences relatives aux preuves temporelles et spatiales. Il comprend des annotations de preuves temporelles pour 442 questions et des preuves spatiales pour 372 questions ; les vidéos durent en moyenne 667 secondes.

Les auteurs indiquent que le zoom manuel sur les régions contenant des preuves a fait dépasser 40 % au score de Gemini-3-Pro. Selon eux, cela suggère que la récupération des preuves pourrait constituer un goulot d’étranglement. La comparaison directe avec les benchmarks antérieurs est limitée par des différences de format et de difficulté des tâches.

Pourquoi c’est important

Évaluer uniquement les réponses ne permet pas de savoir si un modèle s’est appuyé sur des preuves vidéo pertinentes. Ce benchmark évalue séparément les réponses et leur justification visuelle.

GUIDES

Quelque chose à essayer

Pour évaluer hypothétiquement un système d’analyse vidéo, suivez séparément l’exactitude des réponses et l’intervalle vidéo cité comme preuve.