关注对齐鸿沟：面向科学编程智能体的空间转录组学基准

科学编码智能体难以进行基准测试，因为许多研究任务需要可执行的工作过程，却会产生含糊不清或难以验证的输出。由于基准构建需要投入大量时间和资源，自动化为加速方法评估提供了一条可行路径。我们提出了一个交互式框架，用于基于同行评审论文构建科学智能体基准，并通过轨迹检查诊断智能体行为。我们将其应用于空间转录组学配准这一案例研究，从 SABench 中构建了 40 个任务，在这些任务中，智能体提交坐标表以对齐成对的二维组织切片。在 120 次运行和三种配置下，我们比较了基础提示、包感知提示以及带有预构建虚拟环境的完整提示。在这一设定中，更丰富的包与环境上下文增加了工具探索，但相较于基础提示降低了平均配准得分（0.36 对 0.43；95% CI，[-0.11, -0.03]）。轨迹检查表明，额外的脚手架支持常常诱发不必要的变换、脆弱的“包优先”工作流以及基础设施故障。这些结果表明，专门化工具如何改变智能体行为，并说明科学智能体基准除了评估最终输出之外，还应评估智能体轨迹及其生成这些轨迹的工作流。

科学编码智能体难以进行基准评测，因为许多研究任务需要可执行的工作流程，但其产出往往含糊不清或难以验证。由于基准构建需要投入大量时间和资源，自动化为加速方法评估提供了一条途径。我们提出了一个交互式框架，用于基于同行评审论文构建科学智能体基准，并通过轨迹检查诊断智能体行为。我们将其应用于空间转录组学对齐这一案例研究，从 SABench 中构建了 40 个任务，其中智能体需提交坐标表，以对齐成对的二维组织切片。在 120 次运行和三种配置下，我们比较了基础提示、包感知提示，以及带有预构建虚拟环境的完整提示。在这一设定中，更丰富的包和环境上下文增加了工具探索，但相较于基础提示，降低了平均对齐得分（0.36 对 0.43；95% 置信区间，[-0.11, -0.03]）。轨迹检查表明，附加的脚手架通常会诱发不必要的转换、脆弱的“包优先”工作流以及基础设施故障。这些结果说明，专门化工具如何改变智能体行为，并表明科学智能体基准除了评估最终输出外，还应评估智能体轨迹及其产生这些输出的工作流程。

作者声明不存在竞争性利益。

感谢您有兴趣帮助传播 bioRxiv 的信息。

注意：要求提供您的电子邮箱地址，仅用于将您识别为本文的发送者。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.07.05.736638v1?rss=1

🏷️ 空间转录组学 科学编程智能体 基准测试 配准算法 轨迹分析