- 2 次围观
内容形式:摘要译文
目的 我们探究了大型语言模型针对50项研究任务生成的假设与已发表研究中被隐去的研究发现相符的频率,以及模型预测能否识别出相符的假设。方法 我们基于50篇发表于各模型所声明的训练数据截止日期之后、经同行评审的衰老生物学研究构建任务;每项任务均提供背景和研究问题,但隐去该研究的发现(参考发现)。GPT-6 Astra、Grok 4.5、Claude Opus 5.5和Gemini 4 Argon分别采用三种方法,为每项任务各生成5个假设:单次请求、多步骤流程以及不进行文献检索的Omega Point方法(共2997个假设)。由来自其他开发商的三个评判模型按照0至5分的量表对假设进行评分;若至少两个模型的评分不低于3分(主要阈值)或不低于4分(严格阈值),则认为该假设与参考发现相符;拒绝作答计为不相符。我们从基于Grok 4.5所生成假设评估的112种变体中选出一项筛选规则,仅保留四个预测模型均预测其将获得实验验证的假设;预测模型从未接触已发表的研究发现。对照为记录下来的随机答案和各生成模型列出的首个假设。采用以任务为聚类单位的自助法计算95%置信区间(95% CI)。结果 单次请求生成的假设中,13.2%至18.0%与参考发现相符,而多步骤流程和Omega Point方法的相应比例分别为11.2%至18.8%和2.8%至7.6%。采用单次请求时,列于首位的假设在37.5%的情况下与参考发现相符(75/200),而列于第2至第5位的假设的相符率为10.1%(81/800)。在经一致预测筛选出的假设中,Grok 4.5的相符率为73.7%(14/19),Gemini 4 Argon为47.4%(9/19),以及63.6%
Claude Opus 5.5 为(14/22),相比之下,随机对照的匹配率为 12.1% 至 17.9%,首位列出的假设的匹配率为 37.5% 至 40.0%。所选列表涵盖了所有匹配假设的 27.3% 至 35.0%。合并三个集合后,所选假设的匹配率比首位列出的假设高出 23.2 个百分点(pp;95% 置信区间 [13.0, 32.6])。当 Gemini 4 Argon 重新提取参考研究发现时,所选假设的匹配率为 59.6%(34/57);相比之下,对于相同任务,基于原始参考研究发现的匹配率为 61.4%(35/57)。在一项人工审核中,生成模型、评判模型评分及入选状态均被隐藏;以主要阈值为标准,我们的分类与评判模型的分类在 100 个案例中有 81 个一致(Cohen's kappa 为 0.62)。按各抽样层在语料库中的规模加权后,一致率为 89.7%。在抽样的 30 个入选假设中,我们将 19 个判定为匹配,评判模型则将 20 个判定为匹配。结论 在所评估的集合中,四个预测模型一致选取的方式提高了所选假设的匹配率;所得匹配率取决于匹配阈值。与后续位置相比,生成模型更常将匹配假设列在首位,且 60 个入选假设中有 50 个位于首位。在列表长度相同的条件下,相较于首位列出的假设及表现最佳的单一预测模型,该方法在 Grok 和 Opus 生成的假设上均具有统计学显著优势,但在 Gemini 生成的假设上则无统计学显著优势;不同生成模型之间的优势差异经两两比较均无统计学意义(经 Holm 校正后,p ≥ 0.16)。我们利用 Grok 生成的假设选定了该规则,并在相同的 50 个任务上,利用 Gemini 和 Opus 生成的假设对其进行了评估;该规则尚未在新任务上接受测试。
关键词:大语言模型 · 科学假设生成 · 衰老生物学 · 假设筛选 · 基准评估
原文链接:https://www.biorxiv.org/content/10.64898/2026.11.17.767323v1?rss=1