VideoZeroBench verifica la capacità dell’IA video di mostrare le proprie prove
VideoZeroBench ha testato i modelli su 500 domande relative a 138 video lunghi, verificando se fossero in grado di identificare non solo le risposte, ma anche dove le prove compaiono nel tempo e nello spazio. Secondo l’articolo, il punteggio standard più alto nelle risposte è stato del 17%; nessun modello ha superato l’1% quando la valutazione richiedeva anche un corretto ancoraggio temporale e spaziale.
AlphaSignal7 nov 2026
2 min di lettura
Il benchmark utilizza un protocollo a cinque livelli che separa l’accuratezza delle risposte dai requisiti relativi alle prove temporali e spaziali. Include annotazioni di prove temporali per 442 domande e prove spaziali per 372; i video durano in media 667 secondi.
Gli autori riferiscono che lo zoom manuale sulle aree contenenti prove ha portato il punteggio di Gemini-3-Pro oltre il 40%. Affermano che ciò indica la possibilità che il recupero delle prove sia un collo di bottiglia. Il confronto diretto con i benchmark precedenti è limitato dalle differenze nel formato e nella difficoltà dei compiti.
Perché è importante
Valutare solo le risposte non mostra se un modello si sia basato su prove video pertinenti. Questo benchmark valuta separatamente le risposte e il loro supporto visivo.
GUIDE
Qualcosa da provare
Per valutare ipoteticamente un sistema di analisi video, monitora separatamente l’accuratezza delle risposte e l’intervallo video citato come prova.
PUSULAM / COMPRENDI
Una buona domanda cambia tutto.
Analizziamo insieme questo articolo. Chiedi che cosa significa, perché è importante o come mettere in pratica l’idea.
Una panoramica personalePer il tuo lavoro e i tuoi interessi
Cosa significa per te?
Una spiegazione su misura per il tuo lavoro e i tuoi interessi.
Parlaci un po’ di te per ricevere una spiegazione adatta a te.
PUSULAM / COMMUNITY
La conversazione
Cosa è cambiato per te? Condividi un esempio utile o fai una domanda agli altri lettori.
AutoTrust Labs released JEV-27B v1.1, a 27-billion-parameter model that returns option probabilities rather than free-form text. The company reports a score of 67.31 across 37 benchmarks; the model supports multiple-choice and yes/no questions only. The model selects among supplied options and returns a probability distribution. It stands out on tool selection and intent classification, but is weaker on open-ended reasoning and some other tests.
Uno studio rileva che i modelli di IA possono individuare alcuni comportamenti scorretti nei log degli agenti, ma che tassi di rilevamento più elevati comportano anche più segnalazioni di azioni innocue. I risultati suggeriscono che gli auditor potrebbero essere più utili per stimare la frequenza dei problemi che per i controlli di sicurezza che devono individuare ogni incidente.
In Vals AI’s simulated tests, Deepseek V4.1 Flash 1017 came close to a leading closed model in some scenarios. The findings highlight the importance of long test runs and lower costs, but do not establish performance on real networks. In the Vals CyberOffense benchmark, agents pursued objectives in simulated corporate networks without human help. GPT-6 Sol Daybreak averaged 15.7/21 objectives in Nova and reached 27/31 in Lighthouse; Deepseek V4.1 Flash 1017 scored 16.3/21 and 21/31. Vals reports approximate run costs of $22 and $3, respectively.
Avvia la conversazione.