HealthAgentBench 最值得收藏的地方，不是它又给模型排了一张榜，而是它把医疗 Agent 的评测对象换了。
过去很多医疗 AI 评测仍然像考试：给一段病历、一个问题、几个选项，看模型能不能答对。HealthAgentBench 换成了另一种问题：把 Agent 放进一个真实感更强的工作环境，给它原始患者数据、影像、EHR 表、临床试验文本和一个最小任务说明，然后看它能不能自己探索、写脚本、调用工具、生成提交物，并通过隐藏标准验收。
这对做医疗 AI 产品的人尤其有价值。因为真实落地里，失败通常不是“模型不知道某个医学知识点”，而是它无法在一堆分散材料里找到证据、处理格式、定位异常、控制成本、给出可验收的输出。
HealthAgentBench 到底讲什么
HealthAgentBench 是 Microsoft Research 近期发布的医疗 Agent 基准。论文在 2026 年 6 月 30 日提交到 arXiv，项目官网和论文入口随后同步开放。论文全名是 HealthAgentBench: A Unified Benchmark Suite of Realistic Agentic Healthcare Environments for Challenging Frontier AI Agents。
它包含 54 个 agentic healthcare tasks，分布在 7 类任务环境里：X-ray 报告纠错、CT 异常分类、病理肿瘤区域选择、临床试验匹配、EHR 数据质量审计、EHR 事件建模和 EHR 格式转换。
这 7 类任务覆盖了医疗 AI 很难绕开的几类输入：二维 X 光片、三维 CT、全切片病理图、自由文本、结构化 EHR、纵向 EHR 和 MEDS 格式数据。它不是让模型回答一个封闭问题，而是让 Agent 在一个终端环境里自己完成工作。
论文给出的例子很直观：在 X-ray 报告纠错任务里，Agent 拿到的是患者纵向胸片历史、目标检查影像和一个可能含错的 draft findings。它可以查看图片、缩放、裁剪、读取既往报告，最后把修正后的 findings 写入 submission.json。评测脚本在容器外用隐藏专家标签判断成功或失败。
这个设计的关键，是把“医疗 Agent 能力”拆成了四个可观察环节：能不能理解任务，能不能探索环境，能不能选择工具和策略，能不能交付被验收的结果。
HealthAgentBench 背后的研发团队
论文作者来自 Microsoft Research。作者名单包括 Qianchu Liu、Sheng Zhang、Guanghui Qin、Jeya Maria Jose Valanarasu、Maximilian Rokuss、Mingyu Lu、Timothy Ossowski、Juan Manuel Zambrano Chaves、Cliff Wong、Peniel Argaw、Yashna Hasija、Mu Wei、Wen-wai Yim、Qin Liu、Zilin Jing、Jason Entenmann、Naoto Usuyama、Tristan Naumann 和 Hoifung Poon。
这组作者的可信度，主要来自三件事。第一，团队不是只做模型推理，而是长期覆盖医疗 AI、临床数据、影像、多模态评测和医疗基础模型。第二，论文把任务环境、数据来源、验收标准、成本、时间和失败类型都放在同一个评估框架里讨论。第三，项目同步给出了 GitHub 入口，方便后续跟踪代码和任务材料更新。
对读者来说，这意味着 HealthAgentBench 更像一套医疗 Agent 研发验收框架，而不只是一篇模型排行榜论文。
最大优势在哪里
HealthAgentBench 的最大优势，是它把“真实任务”做成了可复测的环境。
第一，任务足够宽。54 个任务覆盖诊断、研究、治疗规划和数据管理，不只盯着单一 EHR 查询，也不只盯着单一影像分类。
第二，任务足够像研发验收。每个任务都被包装成独立环境，Agent 需要根据最小说明自己行动。它能安装工具、读文件、跑脚本、检索数据库、处理影像，然后提交结果。
第三，评分足够硬。论文把成功定义为二元验收：要么达到专家标签、人类工程基线或近专家阈值，要么失败。任务也会排除随机猜测成功率太高、所有 Agent 都能轻松做对、或者存在多个合理答案的样本。
第四，它远没有被当前模型刷穿。最强的 Codex GPT-5.5 在 54 个任务、每个任务 3 次尝试的设置下，整体任务成功率也只有约 42%。这说明它还有足够大的区分度，可以继续跟踪 Agent 进步。
核心技术和方法怎么工作
HealthAgentBench 的技术底座不是某个新模型，而是一套容器化任务环境和统一验收逻辑。
每个任务大致分成三层。第一层是数据和工件，例如患者影像、报告、EHR 表、临床试验文本、辅助脚本。第二层是 Agent 执行环境，Agent 在终端里用命令、脚本和工具完成探索。第三层是隐藏评测脚本，用专家标签、人类基线或任务阈值判断提交物。
这个机制对医疗 AI 很重要，因为它逼近了真实产品里的几个硬问题。
一个是信息分散。真实医疗任务不会把所有证据压缩成一段 prompt，Agent 必须在文件系统、数据库、影像和文本之间来回走。
一个是策略选择。比如 CT 任务里，Agent 可以逐层看切片，也可以先做预处理、裁剪候选区域或安装图像工具；病理任务里，它可能需要把 gigapixel whole-slide image 分解成可处理的 tile。
还有一个是验收标准。医疗 Agent 不能只给出“看起来合理”的回答，它必须产出系统能检查的结果：报告、列表、JSON、分类、tile 区域、转换后的表。
核心章节拆解
第一章最值得看的是 Introduction。它把医疗 Agent 评测的核心矛盾说清楚了：传统 benchmark 多是静态输入和单次回答，而医疗高价值工作流经常涉及 3D CT、病理大图、纵向 EHR、试验协议和多源临床文档。这些材料很难塞进一个短 prompt，也很难用单步问答评估。
第二个重点是 Section 3 的任务设计。论文要求候选任务满足 agentic workflow、realistic clinical workflow、wide coverage 和 verifiable criteria。换成产品语言，就是任务必须真的需要计划、工具、交互和多步推理；必须贴近临床工作流；必须覆盖不同模态和环境；还必须有可验收答案。
第三个重点是 Figure 1 的 7 类任务结构。这里不要只把它当目录看，而要把它当作医疗 Agent 产品评测清单。X-ray 报告纠错考的是影像加文本一致性，CT 异常分类考三维体数据检索，病理肿瘤区域选择考大图 tile 级定位，临床试验匹配考无结构文本检索和资格标准判断，EHR 数据质量审计考大表搜索，EHR 事件建模考自动建模管线，EHR 格式转换考 ETL 可靠性。
第四个重点是 Section 4 的结果。最强 Agent 只有约 42% 成功率，后面依次是 Copilot Opus-4.8、Copilot GPT-5.5、Claude Code Opus-4.8 等。这不是一个“谁第一”的故事，而是说明当前 Agent 在医疗复杂任务里还远未稳定。
第五个重点是失败类型。论文把当前 Agent 的能力差异拆得很清楚：EHR 格式转换和 EHR 事件建模相对更接近可用，医疗影像任务明显更难；大搜索空间和组合推理会显著拖垮表现。EHR 数据质量审计要在 8 张表、80 万行以上的数据里找注入错误，临床试验匹配要在约 400 份自由文本协议中找到符合条件的试验，这两类任务比单次问答更接近真实产品难点。
第六个重点是医疗影像部分。论文指出，影像任务平均成功率明显低于文本任务。原因并不神秘：CT 有大量切片，病理全切片图像可以达到 gigapixel 级，Agent 必须设计分块、筛选、放大、复核的策略。单纯更大的通用 Agent 未必能解决这个问题，专门的视觉后端、影像工具和工作流约束会更关键。
怎么获取这些内容
建议按四步读。
第一步，先读 arXiv 论文。重点看摘要、Figure 1、Section 3、Section 4，以及附录里的任务和指标表。不要一开始就陷入所有参考文献。
第二步，看项目页和 GitHub。项目页适合建立整体印象，GitHub 适合跟踪代码、任务环境和后续更新。
第三步，把 7 类任务翻译成自己的产品验收项。如果你在做院内 Agent，可以把每个任务重写成“输入是什么、Agent 能做什么、提交物是什么、验收标准是什么、失败后怎么归因”。
第四步，单独研究结果图。42% 成功率、医疗影像困难、大搜索空间困难、EHR 建模相对可行，这几个结论比模型排名本身更值得记。
写在最后
本期一句话：HealthAgentBench 最有价值的地方，是把医疗 Agent 从“会答题”推进到“能不能在真实环境里完成任务并通过验收”。
如果你正在做医疗 AI 产品，可以直接用它反问一个问题：你的 Agent 现在通过的是 demo 演示，还是已经有一套像 HealthAgentBench 这样可复现、可失败、可追踪成本和错误类型的任务验收？
资料下载与清单
下载入口表：
| 类型 | 入口 |
|---|---|
| 论文页面 | https://arxiv.org/abs/2606.31179 |
| 论文 PDF | https://arxiv.org/pdf/2606.31179 |
| 项目页 | https://microsoft.github.io/HealthAgentBench/ |
| GitHub | https://github.com/microsoft/HealthAgentBench |
| 本地 PDF | 资料下载/HealthAgentBench医疗Agent真实环境评测论文-20260630.pdf |
核心数字表：
| 指标 | 数字 |
|---|---|
| 任务总数 | 54 |
| 任务类别 | 7 |
| 评测 Agent | 10 |
| 每任务尝试次数 | 3 |
| 最强整体成功率 | 约 42% |
| EHR 数据质量审计表规模 | 8 张表、80 万行以上 |
| 临床试验匹配语料 | 约 400 份试验协议 |
七类任务清单：X-ray Report Correction、CT Abnormality Classification、Pathology Tumor Area Selection、Clinical Trial Matching、EHR Data Quality Auditing、EHR Event Modelling、EHR Format Conversion。
关键指标清单：task success rate、task-specific F1、recall、AUROC、人类工程基线、专家标签、成本/任务、时间/任务、Wilson 95% confidence interval。
研发迁移清单：任务输入、可用工具、容器环境、提交格式、隐藏标签、成功阈值、失败轨迹、成本、耗时、可复现版本。