真正的科学比基准测试更难：在已发表研究上评估先进人工智能框架（I）——不确定性量化、治疗数据共享平台上的机器学习与基于智能体的建模

用于自动化科学研究的人工智能（AI）框架在基准测试中已表现出较强性能，但其是否具备常规性复现多项现实已发表研究结果的能力，在很大程度上仍未经检验。我们在三项现实任务上评估了五种先进的AI科研框架（Kosmos、K-Dense、ToolUniverse、bio.xyz 的 BioAgents，以及 Sakana AI 的 AI Scientist-v2）；这些任务涵盖分子性质预测中的不确定性量化、Therapeutic Data Commons 基准上的机器学习，以及基于智能体的建模，其中包括两篇近期发表的论文。AI框架展现出真实的优势：能够生成原创性假设，较为胜任地执行常规数据获取与编码任务，提供原始论文中往往缺失的置信度统计量，并产出格式规范的最终报告。与此同时，我们的实验也表明，现实世界中的科学任务仍然比当前基准测试所显示的要困难得多。没有任何一个AI框架在研究范围或深度上达到原始研究的水平；即使对同一框架使用相同提示进行多次运行，结果也会有所不同；此外，我们还记录到最终报告中存在严重幻觉、文献覆盖不足以及过度自信结论的情况。对AI输出结果的核验需要大量领域专业知识。尽管这三项任务只能部分代表更广泛的科学研究图景，但它们为构建一种比当前做法更为严格的AI性能评估方法提供了起点。我们得出的结论是，AI框架已经能够在研究方向原型探索和已完成研究的压力测试中发挥价值，而本文所记录的一些局限性似乎也在很大程度上可以通过基础设施改进和持续发展来加以解决。

本网站正在使用一项安全服务，以保护自身免受在线攻击。您刚刚执行的操作触发了该安全解决方案。可能触发此拦截的行为有多种，包括提交某个特定的单词或短语、SQL 命令或格式错误的数据。

您可以给网站所有者发送电子邮件，告知您被拦截一事。请在邮件中说明当此页面出现时您正在进行的操作，并附上本页面底部显示的 Cloudflare Ray ID。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.06.24.734302v1?rss=1

🏷️ 人工智能科研 不确定性量化 机器学习评估 智能体建模 科学复现