এই বেঞ্চমার্কে পাঁচ-স্তরের একটি প্রোটোকল ব্যবহার করা হয়েছে, যা উত্তরের নির্ভুলতাকে সময়গত ও স্থানিক প্রমাণের শর্ত থেকে আলাদা করে। এতে ৪৪২টি প্রশ্নের জন্য সময়গত প্রমাণের অ্যানোটেশন এবং ৩৭২টি প্রশ্নের জন্য স্থানিক প্রমাণ রয়েছে; ভিডিওগুলোর গড় দৈর্ঘ্য ৬৬৭ সেকেন্ড।
লেখকেরা জানান, প্রমাণের অঞ্চলগুলোতে হাতে জুম করলে Gemini-3-Pro-এর স্কোর ৪০%-এর ওপরে উঠেছিল। তাঁদের মতে, এটি ইঙ্গিত করে যে প্রমাণ পুনরুদ্ধার সম্ভাব্য বাধা হতে পারে। কাজের ধরন ও কঠিনতার পার্থক্যের কারণে আগের বেঞ্চমার্কগুলোর সঙ্গে সরাসরি তুলনা সীমিত।
কেন এটি গুরুত্বপূর্ণ
শুধু উত্তরকে স্কোর করলে মডেলটি প্রাসঙ্গিক ভিডিও প্রমাণের ওপর নির্ভর করেছিল কি না বোঝা যায় না। এই বেঞ্চমার্ক উত্তর এবং তার দৃশ্যগত সমর্থন আলাদাভাবে মূল্যায়ন করে।
চেষ্টা করে দেখার মতো কিছু
কাল্পনিকভাবে কোনো ভিডিও বিশ্লেষণ ব্যবস্থা মূল্যায়ন করলে, উত্তরের নির্ভুলতা এবং উদ্ধৃত প্রমাণের সময়সীমা আলাদা মাপকাঠি হিসেবে নথিবদ্ধ করুন।
কথোপকথন শুরু করুন।