BioAgent Bench - An AI Agent Evaluation Suite for Bioinformatics

论文概述#

核心贡献：提出了 BioAgent Bench，一个用于评估 AI Agent 在生物信息学任务中表现的标准测试集和评测框架。

关键发现：

• 前沿闭源模型（Claude Opus 4.5, Gemini 3 Pro, GPT-5.2）可可靠完成端到端生物信息学流程，完成率 > 90%
• 开放权重模型表现明显落后，最佳的 GLM-4.7 也仅达 82.5%
• 鲁棒性测试揭示：即使高层流程构建正确，Agent 在扰动条件下（损坏输入、诱饵文件、提示膨胀）仍会出现失败

---

1. 研究背景与动机#

1.1 为什么需要 BioAgent Bench？#

生物信息学是 AI Agent 的理想应用场景，原因如下：

• 日常分析涉及命令行工具链的编排
• 需要处理异构文件格式
• 需要解读中间输出，具有高度子领域特异性

现有评估的局限性：

• 现有评测倾向于将复杂流程简化为问答或代码生成问题
• 无法忠实反映真实 Agent 行为
• 参数/算法选择对最终结果影响巨大，难以建立严格的 pass/fail 标准
• 敏感患者数据（如肿瘤测序、临床元数据）存在隐私和知识产权约束

1.2 相关工作对比#

BioAgent Bench 的独特之处：强调跨不同生物信息学领域的端到端多步骤流程（而非单一问答）

---

2. 关键概念定义#

---

3. Benchmark 设计#

3.1 任务概览#

BioAgent Bench 包含 10 个端到端任务，覆盖常见生物信息学模态和工作流：

3.2 评估框架流程#

任务提示词 (Task Prompt)
       ↓
输入数据 + 参考数据
       ↓
LLM Agent ←→ 通用工具（Python/R/Shell）+ 专业生物信息学工具（STAR/DESeq2/GATK/Kraken2）
       ↓
生成中间输出文件 + 最终结果文件
       ↓
LLM Judge (GPT-5.1) 比较输出 vs Ground Truth → 评估结果

3.3 系统提示词设计#

关键要点：

• 指定执行环境（mamba 环境）
• 要求使用绝对路径
• 要求分阶段输出到 outputs/ 目录（如 0_trimming/、1_alignment/）
• 最终结果输出到 results/ 目录
• 遇到错误用 try/except 包裹子进程调用

3.4 评分器（Grader）设计#

为什么用 LLM 作为评分器？

• 生物信息学任务常有多条有效解决路径（如 HaplotypeCaller vs DeepVariant vs 其他 pipeline）
• 避免硬编码单一标准答案
• 允许评估不同步骤数量的试验

评分指标：

1. steps_completed — 完成的步骤数
2. steps_to_completion — 预期完成的步骤数
3. final_result_reached — 是否到达最终结果
4. notes — 总结停在何处及剩余步骤
5. results_match — 结果是否匹配

---

4. 实验设置#

4.1 模型#

闭源模型：

• Claude Opus 4.5
• Claude Sonnet 4.5
• GPT-5.2
• GPT-5.1 (Codex Max)
• Gemini 3 Pro Preview

开放权重模型：

• GLM-4.7
• Qwen 3 Coder
• Kimi K2 Thinking
• MiniMax M2.1
• DevStral 25

4.2 Agent 框架（Harness）#

三个主流 Agent 框架：

• Claude Code (Anthropic)
• Codex CLI (OpenAI)
• OpenCode (AnomalyInnovations)

4.3 扰动测试（鲁棒性评估）#

---

5. 主要结果#

5.1 完成率（Completion Rate）#

按 Harness 分组（Codex CLI）：

关键结论：前沿闭源模型可以端到端执行多步骤生物信息学流程并可靠生成最终产物，无需额外定制脚手架。

5.2 规划质量与执行能力的关系#

• 让模型只生成高层计划（不执行），由 GPT-5.1 打分（1-5 分）
• Pearson 相关系数 r = 0.61：规划质量与整体 Agent 表现正相关
• 但关系并非决定性：Gemini-Pro-3 规划分数较低，仍能达到高完成率

5.3 重复试验的变异性#

总体 Jaccard = 0.43，Pearson = 0.73：多次试验间存在相当大的变异性，主要来源为工具执行的非确定性和中间决策差异。

5.4 扰动分析结果#

失败模式分析：

• Decoy 失败（comparative-genomics, metagenomics）：

  • Agent 依赖浅层文件名启发式（如 .genomic.fna 后缀匹配所有文件）
  • 或使用表面级默认配置（可用工具列表中的第一个）
  • 失败根因：未能在生物背景下校准工具配置

• Prompt Bloat 失败（deseq, metagenomics, single-cell）：

  • Agent 反复重述任务、循环执行表面层指令重写
  • 表现出与弱开放权重模型相同的症状：无法通过工具使用和状态执行取得增量进展

---

6. 讨论与启示#

6.1 核心洞察#

1. 高层流程构建 ≠ 步骤级推理：正确的高层 pipeline 构造不能保证在扰动下的正确行为
2. 鲁棒性是关键瓶颈：临床诊断等敏感场景的相关问题不是"它是否产生了结果"，而是"它能否可靠地检测到不应该继续的情况，并能用数据和上下文中的证据证明其选择"
3. 开放权重模型的不可替代性：涉及敏感患者数据、专有参考集或未发布 IP 的场景下，本地部署的开放权重 Agent 虽表现略低，但可实现更强的数据治理

6.2 开放权重模型的重要性#

隐私约束场景：
患者来源测序数据（癌症筛查）
专有参考集合
未发布 IP

→ 路由数据到模型提供商不可接受
→ 本地部署 Agent 虽 benchmark 表现略低
→ 但实现更强的治理和降低组织风险

---

7. 局限性#

1. LLM 评分的主观性：评分依赖 rubric 措辞、轨迹详细程度和中间产物呈现方式；试验间可能存在评分不一致
2. Benchmark 约束限制真实世界保真度：
   • 资源限制（< 4 小时运行时，≤ 48GB RAM）缩小了任务和数据空间
   • 偏向小基因组和良好打包的输入
   • 排除了大型基因组、异构队列、长运行 pipeline 等常见失败模式
3. 鲁棒性测试范围有限：每个任务和条件仅运行单次试验，结果应视为探索性而非确定性结论
4. 扰动构建存在局限：部分扰动使文件完全不可读（触发硬错误），而更现实且安全性相关的情况是语法有效但生物学上难以置信

---

8. 代码与资源#

• 主页：https://github.com/bioagent-bench/bioagent-bench
• 实验代码：https://github.com/bioagent-bench/bioagent-experiments

---

附录：补充图表#

A.1 各 Harness 模型完成率对比（Table 4）#

A.2 Prompt Bloat 扰动示例#

在 metagenomics 任务中，追加了 871 个无关词后，Agent 完全失败（-100%）。提示膨胀导致 Agent 陷入"指令重述循环"，无法执行有效的工具调用。

A.3 各 Harness 详细完成率（Table A.5）#

A.4 鲁棒性度量列说明（Table A.6）#

---

9. 个人笔记 / 思考#

待补充：阅读本文后的思考、与自身研究的相关性、可能的应用场景

可能的应用方向#

• 将 BioAgent Bench 框架适配到特定生物信息学子领域评测
• 结合本地部署的生物信息学 Agent（如使用 GLM-4 等开放权重模型）进行隐私保护场景探索
• 针对扰动测试设计更贴近实际临床数据的鲁棒性评测方案

与现有工作的关系#

• 相比 Lab-Bench 更强调端到端 pipeline 而非单一问答
• 扰动测试设计值得借鉴，可作为 Agent 部署前的安全检查框架