44%的大语言模型研究发现可能已失效

分析涵盖了2024年7月至2026年9月发布的模型。对22项估算了失效时间的发现而言，平均有效期仅为15.7个月。九项推理相关发现全部减弱或失效，而一些关于偏好和倾向的发现持续得更久。

不同模型之间的结果也差异很大。在同一项虚构参考文献测试中，GPT-6.1 Sol的虚构率为0%，Claude Sonnet 5.5为1%，Qwen3.7-Flash则为69%。研究人员建议，研究结论应注明具体模型、版本和日期，并公开提示词和分析代码。

为什么重要

大语言模型持续变化，过往研究报告的能力与弱点可能很快过时，因此相关结论需要注明版本和时间背景。