Benchmark, yanıt doğruluğunu zamansal ve uzamsal kanıt gerekliliklerinden ayıran beş seviyeli bir protokol kullanıyor. Soruların 442’sinde zamansal, 372’sinde uzamsal kanıt işaretlenmiş; videolar ortalama 667 saniye uzunluğunda.
Yazarlar, kanıt bölgelerine elle yakınlaştırmanın Gemini-3-Pro’nun skorunu %40’ın üzerine çıkardığını bildiriyor. Bu sonuç, bulgularına göre kanıtı bulmanın önemli bir darboğaz olabileceğine işaret ediyor; önceki benchmarklarla doğrudan karşılaştırma ise görev ve zorluk farkları nedeniyle sınırlı.
Neden önemli?
Yalnızca doğru yanıtı puanlamak, modelin ilgili video kanıtına dayanıp dayanmadığını göstermiyor; bu benchmark yanıtla görsel dayanağı ayrı ayrı sınamaya çalışıyor.
Bir deneme fikri
Bir video analiz sistemini değerlendirdiğinizi varsayın: yanıt doğruluğunu ve modelin kanıt gösterdiği zaman aralığını ayrı ölçütler olarak kaydedin.
Sohbeti sen başlat.