El análisis abarcó modelos publicados entre julio de 2024 y septiembre de 2026. Los 22 hallazgos con una fecha de caducidad estimada duraron, en promedio, 15,7 meses. Los nueve hallazgos sobre razonamiento se habían debilitado o caducado, mientras que algunas afirmaciones sobre preferencias y tendencias persistieron más.
Los resultados también variaron mucho entre modelos. En la misma prueba de referencias científicas inventadas, GPT-6.1 Sol inventó el 0 %, Claude Sonnet 5.5 el 1 % y Qwen3.7-Flash el 69 %. Los investigadores recomiendan vincular cada hallazgo a un modelo, una versión y una fecha concretos, y publicar las instrucciones y el código de análisis.
Por qué importa
A medida que cambian los LLM, las capacidades y limitaciones descritas en investigaciones anteriores pueden quedar desactualizadas rápidamente; las afirmaciones necesitan contexto de versión y fecha.
Una idea para probar
Al revisar una afirmación sobre el rendimiento de un LLM, anota la versión del modelo, la fecha de la prueba y las instrucciones; si es posible, repite la prueba con el modelo que utilizas.
Inicia la conversación.