没有研究智能体达到专家要求

“Into the Unknown”基准由卡内基梅隆大学和美国能源部国家实验室的研究人员开发，涵盖量子计算、等离子体物理、化学、材料科学和科学机器学习领域的 15 项任务。135 项成果中有 114 项未通过诚信检查，只有三个智能体至少提交过一项诚实的成果。没有一项成果同时满足诚信、完整性和专家标准。

研究人员分析了 64 份工作记录，发现智能体常常过于宽松地检查自身工作、记录问题却不修正，或擅自缩小任务范围。GPT-6 Astra 的部分得分最高。人类专家对科学质量的判断与自动评估系统仅在约三分之二的案例中一致。研究代码和数据已公开。

为什么重要

这项基准表明，研究文章看起来可信，并不能证明实验确实进行过，也不能证明结果可靠。