⏱ 预计阅读：12 分钟
图注：MedCTA 围绕临床验证任务、可执行工具链、过程感知评测和控制器诊断展开。
MedCTA 把“医疗 Agent 到底应该怎么评测”拆得很细：任务怎么设计，工具怎么调用，证据怎么记录，模型在哪里失败，最后又该怎么验收。
如果你正在做临床智能体、医学多模态模型、院内工作流工具，MedCTA 最值得学的不是某个模型分数，而是一套评测路线图。
MedCTA到底讲什么
MedCTA 的完整标题是 A Benchmark for Clinical Tool Agents。这套内容围绕 clinical tool agents 展开，也就是能围绕临床目标自主调用工具、整合证据并生成答案的医疗 Agent。
图注：论文入口把项目页、代码和数据集放在同一条资料链路里。
它评测的是 clinical tool agents，也就是能围绕临床任务自主调用工具的 Agent。
普通医学问答评测更像是在问：模型能不能直接说出答案。MedCTA 换了一个问法：模型拿到一个临床目标后，能不能自己决定要不要 OCR、要不要看图、要不要查外部证据、要不要计算，最后再把这些证据组合成一个临床相关答案。
项目页给出的核心数字很适合理解它的范围：107 个临床验证任务，5 个可执行工具，18 个开源和闭源多模态模型，1,926 次 autonomous rollouts。Hugging Face 数据集页也能看到 train split 是 107 rows，并包含 question、answer、tool_names、tool_chain、modality、task_family、trajectory、tools_json 等字段。
这意味着它不是一张静态榜单，而是一套可以复盘过程的任务集。
MedCTA背后的研发团队
MedCTA 背后主要来自 KAUST IVUL（Image and Video Understanding Lab）和 MIT 合作者。这个组合有一个明显特点：它不是从“医学问答”出发，而是从计算机视觉、多模态理解、工具执行和评测框架出发，重新拆临床 Agent 的工作过程。
图注：KAUST IVUL 官网展示了实验室的研究方向与团队入口。
核心研发名单可以按论文作者顺序看：
| 成员 | 机构 | 在这篇内容里的位置 |
|---|---|---|
| Tajamul Ashraf | KAUST | 论文作者，MedCTA 项目成员 |
| Hyewon Jeong | MIT | 论文作者，跨机构合作者 |
| Fida Mohammad Thoker | KAUST | 论文作者，项目通讯联系人 |
| Bernard Ghanem | KAUST | 论文作者，KAUST IVUL 负责人 |
这套资料的完整度也很关键：项目页解释方法，论文写实验，GitHub 放代码，Hugging Face 放数据集。对医疗 AI 团队来说，这比只看一段发布介绍更适合拆解和复用。
最大优势在哪里
MedCTA 最值得学的地方，是把医疗 Agent 的问题从“答没答对”往前推了一层：这个答案是怎么来的？
很多医疗 AI 评测只看最终答案。这样做有一个隐患：模型可能靠猜、靠常识、靠训练记忆，刚好答对一道题，但它并没有完成真实临床流程里的取证和复核。
MedCTA 的设计更接近产品验收：它检查工具选择、参数有效性、执行稳定性、轨迹忠实度、证据使用和结果质量。换成人话说，就是不仅问“最后对不对”，还问“该用的工具有没有用、工具参数有没有错、证据有没有被正确拿来支撑结论、中间有没有过早停止”。
对医疗 AI 产品团队来说，这比一个模型排行榜更有用。因为上线后真正要背责任的，往往不是 benchmark 上的一两个百分点，而是每一次错误工具调用背后的证据断裂。
核心技术怎么工作
MedCTA 的核心链路可以拆成五步。
第一步，给出一个多模态临床任务。输入可能是影像、病理图、报告或扫描内容，问题本身不把工具路径明说出来。
第二步，Agent 控制器决定下一步调用什么工具。比如先 OCR 读图中文字，还是先做全局图像描述，或者需要对某个区域做更细的 RegionAttributeDescription。
第三步，工具返回中间证据。这里的关键不是工具名好不好听，而是返回结果能不能支撑下一步推理。
第四步，Agent 整合证据，形成临床相关答案。
第五步，评测器同时看结果和过程。结果层看 final goal accuracy，过程层看 tool routing、argument validity、trajectory fidelity、evidence grounding 等。
这条链路提醒我们：医疗 Agent 的核心技术难点，很多时候不是“再换一个更大的底座模型”，而是控制器、工具接口、证据记录和评测指标能不能闭环。
核心章节拆解
MedCTA 的第一块核心内容，是任务设计。它把每个任务表示为 (X, Q, U, π, A)：临床上下文、隐含步骤查询、隐藏充分工具集合、参考交互轨迹和最终临床结果。
这里最值得借鉴的是“隐含步骤”。它不会在问题里直接告诉模型“请先调用 OCR，再调用图像描述工具”。真实临床工作也不会把流程提示写在题目里。一个 Agent 如果只能在明确提示下调用工具，它离真实工作流还很远。
所以这一章对产品团队的启发是：做医疗 Agent 之前，先别急着接模型，先把任务定义清楚。哪些证据算充分？哪些工具是必要的？哪些步骤不能跳过？哪些中间结果必须留痕？
第二块核心内容，是数据结构。Hugging Face 数据集页能看到，每条任务不只包含 question 和 answer，还包含 tool_names、tool_chain、num_tool_calls、num_dialog_turns、modality、task_family、trajectory、tools_json 等字段。
这部分非常像一份医疗 Agent 日志设计模板。它提醒我们，如果系统只保存最终答案，将来就很难追责；如果系统保存工具链、参数、轨迹和证据，失败才有机会被拆开。
第三块核心内容，是过程感知评测。MedCTA 摘要明确提到，它评测 tool selection、argument validity、execution stability、trajectory fidelity 和 outcome quality。
这对医疗 AI 研发很关键。因为临床场景里，一个 Agent 最危险的失败不一定是“完全不会”，而是看起来很流畅，但中间用了错误工具、传了错误参数，最后给出一个很自信的答案。
第四块核心内容，是 18 个模型的 leaderboard。README 把模型分成 API/闭源模型和开源模型两组，并分别展示 Inst、Tool、Arg、Summ、Facc、Cs、Scomp、Gacc 等指标。
这张榜单最值得看的不是谁第一，而是很多模型在不同环节断得不一样。有的模型最终答案还可以，但工具选择弱；有的模型会调用工具，但参数错误；有的模型能总结中间结果，却不能把证据转成临床忠实答案。
如果你做医疗 Agent，这比单一总分更有用。因为产品上线后，修“工具路由错误”和修“最终答案错误”完全不是一回事。
怎么获取这些内容
建议按五个入口看 MedCTA。
第一，先看项目页。它适合快速理解 MedCTA 的定位、核心数字、任务设计和主要结果。
第二，看 GitHub README。它把工具库、评测指标、leaderboard、失败诊断和运行方法整理得更像教程。
第三，看 Hugging Face 数据集。这里最适合看 107 条任务到底长什么样，尤其是 tool_names、tool_chain 和 trajectory 这些字段。
第四，看论文 PDF。论文适合补方法细节、实验设置和失败诊断，尤其是你准备把这套方法迁移到自己的医疗 Agent 评测时。
第五，看 leaderboard。不要只看总分，要看 Inst、Tool、Arg、Summ、Facc、Cs、Scomp、Gacc 分别断在哪里。
图注：GitHub 仓库包含 README、评测代码、工具库说明和 leaderboard。
我已经把论文 PDF 下载到本地，并用中文命名，放在本期 Obsidian 文件夹的 资料下载/ 目录里。
写在最后
本期一句话：MedCTA 最有价值的地方，不是告诉我们哪个医疗 Agent 更强，而是提醒我们临床 Agent 必须把工具、证据和每一步失败都摊开来验收。
如果你现在要做一个医疗 Agent 试点，我最想问的问题是：你们验收时只看最终答案，还是已经能复盘它每一步调用了什么工具、用了什么证据、在哪里提前停下来了？
资料下载与清单
下载入口
| 内容 | 链接 |
|---|---|
| 项目页 | https://ivul-kaust.github.io/MedCTA/ |
| arXiv 论文页 | https://arxiv.org/abs/2606.11702 |
| 论文 PDF（线上） | https://arxiv.org/pdf/2606.11702 |
| 论文 PDF（本地中文命名） | 资料下载/MedCTA临床工具Agent评测论文-20260610.pdf |
| GitHub 仓库 | https://github.com/IVUL-KAUST/MedCTA |
| Hugging Face 数据集 | https://huggingface.co/datasets/IVUL-KAUST/MedCTA |
| Leaderboard | https://github.com/IVUL-KAUST/MedCTA#-leaderboard |
| KAUST IVUL 官网 | https://ivul.kaust.edu.sa/ |
核心数字清单
| 项目 | 数量/口径 |
|---|---|
| 临床验证任务 | 107 |
| 可执行工具 | 5 |
| 评测模型 | 18 |
| autonomous rollouts | 1,926 |
| 人工标注时间 | 321 小时 |
| 解剖区域/身体系统 | 34 |
| 每任务工具步骤 | 2-4 |
| 平均工具执行步数 | 3.1 |
5 个可执行工具清单
| 工具 | 作用 | 典型用途 |
|---|---|---|
| OCR | 文本提取 | 读取报告、标签、表格、扫描文档 |
| ImageDescription | 全局图像理解 | 总结医学图像 |
| RegionAttributeDescription | 局部视觉检查 | 描述特定区域或发现 |
| GoogleSearch | 外部证据检索 | 查询临床或生物医学知识 |
| Calculator | 数值推理 | 计算数值、比例、表达式或评分 |
数据字段清单
| 字段 | 含义 |
|---|---|
| question | 临床任务问题 |
| answer | 参考答案 |
| tool_names | 本任务涉及的工具名称 |
| tool_chain | 参考工具调用链 |
| num_tools_available | 可用工具数量 |
| num_tool_calls | 工具调用次数 |
| num_dialog_turns | 对话轮数 |
| modality | 输入模态 |
| task_family | 任务家族 |
| trajectory | 参考交互轨迹 |
| tools_json | 工具定义与参数结构 |
| gt_answer_json | 参考答案结构 |
8 个评测指标清单
| 指标 | 含义 |
|---|---|
| InstAcc | 指令遵循准确率 |
| ToolAcc | 工具选择准确率 |
| ArgAcc | 工具参数预测准确率 |
| SummAcc | 中间总结准确率 |
| Facc | 临床忠实度 |
| Cs | 多模态上下文整合 |
| Scomp | 语义完整性 |
| Gacc | 最终目标/答案准确率 |
18 个模型清单
| 类型 | 模型 |
|---|---|
| API/闭源 | GPT-5.4 |
| API/闭源 | GPT-5.4-mini |
| API/闭源 | GPT-5.4-nano |
| API/闭源 | Claude-opus-4-6 |
| API/闭源 | Claude-sonnet-4-6 |
| API/闭源 | Claude-haiku-4-5 |
| API/闭源 | Gemini-3-flash |
| API/闭源 | Gemini-3-flash-lite |
| 开源 | Qwen3.5-9B |
| 开源 | Qwen3-8B |
| 开源 | DeepSeek-R1-Distill-7B |
| 开源 | Deepseek-llm-7b-chat |
| 开源 | DeepSeek-V2-Lite-Chat |
| 开源 | Llama-3.1-8B-Instruct |
| 开源 | Llama-3.2-3B-Instruct |
| 开源 | Mistral-7B |
| 开源 | Phi-4 |
| 开源 | GPT-oss-20B |