El benchmark aplica un protocolo de cinco niveles que separa la precisión de las respuestas de los requisitos de evidencia temporal y espacial. Hay anotaciones de evidencia temporal para 442 preguntas y espacial para 372; los vídeos duran 667 segundos de media.
Los autores informan de que ampliar manualmente las regiones de evidencia elevó la puntuación de Gemini-3-Pro por encima del 40%. Según ellos, esto apunta a la recuperación de pruebas como posible cuello de botella. La comparación directa con benchmarks anteriores es limitada por las diferencias de formato y dificultad.
Por qué importa
Evaluar solo las respuestas no permite saber si un modelo se apoyó en pruebas pertinentes del vídeo. Este benchmark mide por separado la respuesta y su respaldo visual.
Una idea para probar
Si evaluaras hipotéticamente un sistema de análisis de vídeo, registra por separado la precisión y el intervalo citado como evidencia.
Inicia la conversación.