VideoZeroBench वीडियो AI की साक्ष्य दिखाने की क्षमता की जाँच करता है

यह बेंचमार्क पाँच-स्तरीय प्रोटोकॉल का उपयोग करता है, जो जवाबों की सटीकता को समयगत और स्थानिक साक्ष्य संबंधी आवश्यकताओं से अलग रखता है। इसमें 442 सवालों के लिए समयगत साक्ष्य के एनोटेशन और 372 सवालों के लिए स्थानिक साक्ष्य शामिल हैं; वीडियो की औसत अवधि 667 सेकंड है।

लेखक बताते हैं कि साक्ष्य वाले क्षेत्रों को हाथ से ज़ूम करके देखने पर Gemini-3-Pro का स्कोर 40% से ऊपर चला गया। उनका कहना है कि इससे संकेत मिलता है कि साक्ष्य पुनर्प्राप्ति संभावित रूप से एक बाधा हो सकती है। कार्य के प्रारूप और कठिनाई में अंतर के कारण पहले के बेंचमार्कों से सीधी तुलना सीमित है।

यह क्यों मायने रखता है

केवल जवाबों को स्कोर करने से यह पता नहीं चलता कि मॉडल ने प्रासंगिक वीडियो साक्ष्य पर भरोसा किया था या नहीं। यह बेंचमार्क जवाबों और उनके दृश्य समर्थन का अलग-अलग मूल्यांकन करता है।