94.3% 的医疗 Agent 得分意味着什么?拆解 OpenAI 与斯坦福评测的指标差异

94.3% 不代表 94.3% 的医疗行政任务被完整做完。OpenAI 在 2026 年 11 月 16 日公布的 GPT-6 Astra 94.3%,是 HealthAdminBench 的 rubric points(评分点)得分比例;斯坦福 Shah Lab 论文中 Claude Opus 4.6 CUA 的 36.3%,是完整任务成功率(full-task success)。前者衡量“满足了多少评分点”,后者衡量“有多少任务全部满足成功条件”,两者不是同一指标,也不能排进同一张榜单。

医疗 Agent 可以在信息检索、文档处理、表单填写等单项操作上表现很好,却依然无法稳定走完一条跨系统业务流程。判断一个 Agent 是否具备生产价值,需要同时看子任务表现、端到端成功率、错误类型、执行成本和人工介入情况,任何单一分数都不够。

您读完此文能了解到什么?

  • 94.3% 与 36.3% 分别统计的是什么,为什么不能直接比较
  • HealthAdminBench 的任务构成、评分点来源和两种验证机制
  • 一套面向生产环境、可迁移到其他企业 Agent 的评价维度

索引:客观事实部分依次交代 94.3% 的成绩为什么引起关注、HealthAdminBench 究竟测量什么、子任务成功与完整任务成功的区别、医疗 Agent 最容易在哪些环节失败,以及同一模型为何会因执行框架不同而表现不同;分析判断部分则讨论如何建立综合评测框架、如何核算成本,以及企业在应用中应当怎样取舍。

medical-agent-94-3-score-openai-stanford-healthadminbench-metrics-image-0


To Know:读懂医疗 Agent 评测的 7 个概念

概念 简要解释
Computer Use 通过观察软件界面并模拟点击、输入、滚动等操作来完成任务的能力
EHR 电子健康记录系统,医院存储患者诊疗信息的核心软件
MCP 用于发现和调用外部工具的标准协议
RPA 通过预先配置的规则或脚本执行重复流程的自动化方式
Rubric points 按评测规则获得的评分点,用于衡量部分要求的达成情况
端到端成功率 完整任务满足全部成功条件的比例,任何一个关键条件失败即判为失败
Trace 记录执行过程、操作动作和界面状态的轨迹证据

医疗 Agent 评测影响速览

  • 开发者与技术负责人:不能只引用厂商公布的单一分数做选型,需要按自身任务验证执行机制、端到端完成率以及包含截图、重试、运行环境在内的完整成本。
  • 医疗机构与工作流负责人:需要区分合成环境中的演示、基准评测、机构试点和生产案例这四类证据,并在部署时落实人工审批、最小权限和操作审计。

客观事实:94.3% 与 36.3% 背后的医疗 Agent 评测

94.3% 的成绩为什么引起关注?

2026 年 11 月 16 日,OpenAI 发布面向医疗团队的计算机操作 Agent 进展,并披露了多组评测数据。其中 GPT-6 Astra 在 HealthAdminBench 上得分 94.3%,GPT-6 Luna 得分 91.8%,两者均在最高推理强度(maximum reasoning effort)下评测。OpenAI 同时公布,Luna 的单任务成本为 0.085 美元,比 Astra 低 98%。

这些数字之所以引人注目,是因为斯坦福此前公开的 HealthAdminBench 结果明显更低。需要强调的是,OpenAI 公布的 94.3% 和 91.8% 是 rubric points 得分比例,而不是独立的完整任务成功率。同一份公告中的另外两组数据,同样来自不同评测环节,分母各不相同:

指标 数值 分母/口径 不代表什么
HealthAdminBench 得分(Astra) 94.3% rubric points 占比 完整任务成功率
HealthAdminBench 得分(Luna) 91.8% rubric points 占比 完整任务成功率
临床任务安全性(Astra) 99% 325 项经审核任务 医学诊断准确率
医生高度认可占比(Astra) 93% 646 次医生评价 任务成功率,也不等于 646 名医生
Luna 单任务成本 $0.085 特定评测条件下的每任务成本 生产部署报价

这三套数据分母不同,不能合并成一个“综合准确率”。此外,OpenAI 公告正文没有公开逐任务结果、完整实验配置、置信区间和全部失败案例,外界目前无法独立复核 94.3% 的得分构成。Astra 的单任务成本约为 4.25 美元,这是按 98% 降幅反推的估算值,并非官方直接公布的价格。

medical-agent-94-3-score-openai-stanford-healthadminbench-metrics-image-1

HealthAdminBench 究竟测量什么?

HealthAdminBench 由斯坦福大学 Shah Lab 提出,专门评测计算机操作 Agent 在医疗行政任务中的表现。它的公开版本前后有差异:早期研究网页描述的是 70 项任务、947 个评分点、6 个 Agent;论文 2604.09937v1 版本扩展到 135 项任务、1,698 个可验证子任务、7 组模型配置。本文以论文版本为准,早期网页数据只作历史对照。

论文版本的四个模拟 GUI 环境分别是 EHR、保险支付门户 A、保险支付门户 B 和传真门户。135 项任务分为三类行政工作流:

任务类型 数量 主要内容
Prior Authorization(预授权) 60 保险资格核验、收集病历、提交预授权申请
Appeals and Denials Management(申诉与拒赔) 60 审查拒赔、收集证明、准备并提交申诉
DME Order Processing(医疗设备订单) 15 收集医疗设备资料、提交订单、记录结果

1,698 个评分点由两种机制产生。1,177 项采用确定性检查,借助 JMESPath 等结构化手段核对系统状态,比如是否找到正确患者、是否填写指定字段、是否生成正确订单,思路接近传统软件测试。另外 521 项交给 LLM Judge 判断,主要评估文档内容是否充分、提交材料是否符合要求等难以用规则直接验证的部分。

所有任务都使用合成患者数据,而非真实患者记录。这意味着该基准提供的是一个可复现的测试环境,并不是在真实医院生产系统中进行测试,也不直接测量患者护理结果。

子任务成功与完整任务成功有什么区别?

用一条预授权申请流程最容易看清两者的差别。按照研究资料的描述,一项预授权任务可能要求 Agent 依次完成:

  1. 在 EHR 中找到正确的患者
  2. 查看患者的诊疗记录
  3. 找到影像检查和既往治疗材料
  4. 判断保险申请需要哪些证明
  5. 从病历中提取所需信息
  6. 进入保险支付门户
  7. 选择正确的申请类型
  8. 填写申请表
  9. 附加所需文件
  10. 提交申请并确认状态

这十步之间存在强依赖关系。第 1 步选错患者,后面每一步做得再规范都是错的;前九步全部正确,但第 9 步漏传附件或第 10 步没有真正提交,整项任务仍然判为失败。子任务成功率统计的是“十步中做对了几步”,完整任务成功率统计的是“十步是否全部做对”。

medical-agent-94-3-score-openai-stanford-healthadminbench-metrics-image-2

论文给出的数据清楚体现了这种落差:GPT-5.4 CUA 的子任务成功率为 82.8%,而 Claude Opus 4.6 CUA 的完整任务成功率为 36.3%。这两个数字分属不同模型,同样不能直接对比,但它们共同说明一个事实:局部动作完成与整个业务流程完成,是两种不同的能力。

早期研究网页也报告过类似的落差:Claude Opus 4.5 的最佳完整任务成功率为 22.9%,Gemini 3 的子任务成功率为 76.4%。由于任务规模和版本不同,这些数字只能用来观察趋势,不能与论文版本或 OpenAI 的结果放进同一排名。

医疗 Agent 最容易在哪些环节失败?

论文按子任务类别公布了两组 CUA 配置的成绩:

子任务类别 Claude Opus 4.6 CUA GPT-5.4 CUA
信息检索 96.5% 96.1%
文档编制 74.3% 84.4%
表单填写 88.9% 84.9%
任务解决 70.7% 66.2%
文档处理 92.3% 94.3%
临床推理 61.3% 77.0%

需要特别提醒:表中 GPT-5.4 CUA 在文档处理上的 94.3%,与 OpenAI 公布的 GPT-6 Astra 总体 rubric points 94.3% 只是数字巧合,两者的模型、指标和来源完全不同。

从分项看,信息检索已经接近饱和,而临床推理、任务解决和文档编制相对较弱。论文同时指出,文档处理(Document Handling)和跨系统数据传输(Cross-system Data Transfer)是导致端到端失败的主要问题。早期网页版本曾报告六个模型中有五个在文档处理子任务上准确率低于 20%,但那属于不同版本的任务设定,不能与上表直接比较。

跨系统传输为什么特别容易出错?在预授权流程中,同一份信息要从 EHR 读出、在 Agent 的上下文中保存、再写入保险门户的另一种表单结构,附件还可能经过传真门户流转。每一次转移都是一次可能出错的机会,而上游的一个错误会被原样复制到下游系统。OpenAI 资料中列出的风险里,也包括“将错误信息从一个系统传播到另一个系统”和“在系统状态不明确时错误报告任务完成”。

为什么同一个模型会因执行框架不同而表现不同?

论文做了提示方式和观察模式的消融实验,主要发现有三点:

  • 提供 Portal Guidance(门户操作指导)通常比只给任务描述表现更好
  • Accessibility Tree(无障碍结构树)观察方式通常优于纯截图观察
  • 门户操作指导与结构化页面信息结合时,端到端表现通常更好

论文也指出,真实生产环境未必能提供完整的 Accessibility Tree。换言之,Agent 的成绩不仅取决于底层模型,还取决于执行框架(Harness)、页面观察方式、提示词和任务说明。

OpenAI 的开发者文档同样体现了执行路径的差异。官方指南分别说明了 ComputerToolset、BrowserToolset 与托管浏览器入口;对 GPT-6 Astra,当前文档推荐 Code Execution 方式,即由模型生成 Playwright 等代码来操作界面,Computer Tool 仍作为可选方案。文档还强调,模型生成操作指令不等于操作已经成功,应用必须执行后再通过新截图或其他方式验证结果。

CVS Health 开源的 CUA Agent Kit(Apache-2.0)则提供了另一种工程思路。其 README 公开的机制是:先由 Computer-use Agent 探索工作流并保存截图、动作和 Trace 作为证据,再由 Codex Skill 把成功轨迹固化为确定性代码,并经过工程师审查;后续确定性运行不需要模型 Key。这把“发现怎么做”和“稳定重复地做”拆成了两个问题。


分析判断:如何评价真正可用的医疗 Agent

怎样评价一个真正可用的 Agent?

以下是本文的判断,而非任何机构的官方标准。我们认为,94.3% 这类 rubric points 分数适合回答“模型的局部能力进步了多少”,但不足以回答“能不能放进生产流程”。后一个问题需要一组相互制约的指标:

评价维度 衡量什么 为什么需要 数据来源
端到端成功率 完整任务全部满足成功条件的比例 业务只认最终结果 系统最终状态校验
关键步骤准确性 选患者、提交、上传附件等关键节点的正确率 关键步骤一错全错 确定性检查
错误严重程度 失败是可恢复的遗漏,还是写错数据、错发消息 同样的失败率风险差异巨大 人工复核 + 分级标签
人工介入率 需要人工接管或审批修正的比例 决定实际节省的人力 审批日志
执行时间 单任务耗时与长尾耗时 影响吞吐与排队 Trace 时间戳
单任务完整成本 模型、截图、重试、运行环境、维护的总和 Token 单价无法代表真实成本 账单 + 运行记录
异常恢复能力 遇到歧义、超时、页面变化时能否停止或回退 医疗场景必须“会停” 故障注入测试

这套框架的核心,是把“做对了多少步”和“做成了多少件事”分开报告,再用错误严重程度和人工介入率修正两者。Ambience 展示的方案正好体现了“异常恢复”这一维度:当病历存在歧义时,Agent 停下来询问医生,并在医生批准后才提交预授权申请。这只是该公司展示的治理方案,并不意味着所有医疗 Agent 默认具备相同配置。

medical-agent-94-3-score-openai-stanford-healthadminbench-metrics-image-3

样本量和重复次数同样要公开。一项比较 RPA 与 Agent 的研究(DOI: 10.1080/23311975.2026.2724760)在 P2、P3 两个流程上对每项技术各执行 10 次,但在 P1 上 Agent 仅执行 1 次且失败,未纳入后续统计;该研究使用的是 2025 年的工具配置,不能当作 2026 年模型的直接成绩。这个例子说明,读评测结论时要先看每个数字背后跑了几次、哪些结果被排除。

医疗 Agent 评测的落地做法:同一 Harness 下自己跑

对开发团队来说,最实际的做法是固定执行框架,在自己的任务集上同时统计子任务和端到端两套指标。下面的示例用一个 LLM Judge 给 Agent 的提交材料打分,接口兼容 OpenAI SDK:

import openai

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"  # API易 统一接口,可切换不同裁判模型
)

resp = client.chat.completions.create(
    model="YOUR_JUDGE_MODEL",
    messages=[
        {"role": "system", "content": "你是评测裁判,只输出 PASS 或 FAIL 及一句理由。"},
        {"role": "user", "content": "要求:附上影像报告与既往治疗记录。\n提交内容:<Agent 提交的材料摘要>"}
    ]
)
print(resp.choices[0].message.content)
查看完整实现:同时计算子任务成功率与端到端成功率
import openai
from dataclasses import dataclass, field

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"
)

@dataclass
class Subtask:
    name: str
    critical: bool          # 是否为关键步骤(失败即整任务失败)
    passed: bool = False

@dataclass
class TaskResult:
    task_id: str
    subtasks: list = field(default_factory=list)
    human_intervened: bool = False
    cost_usd: float = 0.0   # 已含重试 Token,勿重复累加

def llm_judge(requirement: str, submission: str, model: str) -> bool:
    """对难以规则化的子任务使用 LLM Judge"""
    resp = client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": "只输出 PASS 或 FAIL。"},
            {"role": "user", "content": f"要求:{requirement}\n提交:{submission}"}
        ]
    )
    return resp.choices[0].message.content.strip().upper().startswith("PASS")

def summarize(results: list) -> dict:
    total_sub = sum(len(r.subtasks) for r in results)
    passed_sub = sum(s.passed for r in results for s in r.subtasks)
    full_success = sum(all(s.passed for s in r.subtasks) for r in results)
    critical_fail = sum(
        any(s.critical and not s.passed for s in r.subtasks) for r in results
    )
    n = len(results)
    return {
        "subtask_rate": passed_sub / total_sub,
        "end_to_end_rate": full_success / n,
        "critical_failure_rate": critical_fail / n,
        "human_intervention_rate": sum(r.human_intervened for r in results) / n,
        "avg_cost_usd": sum(r.cost_usd for r in results) / n,
    }

🎯 技术建议:子任务得分和端到端成功率最好在同一套 Harness、同一批任务上并排报告。通过 API易 apiyi.com 的 OpenAI 兼容接口,可以用一个 API Key 在 OpenAI、Claude、Gemini 等模型之间切换执行模型或裁判模型,减少因接入方式不同带来的变量。

医疗 Agent 成本核算与模型分层

Token 单价只是起点。按 2026 年 11 月 17 日 OpenAI 公布的 Standard 短上下文价格,GPT-6 Astra 输入、输出、缓存输入分别为每百万 Token 10、50、1 美元,GPT-6 Luna 为 0.10、0.50、0.01 美元;处理速度、上下文长度和地域都会影响实际计费。Computer Use 是多轮调用,每轮截图都算视觉输入,因此核算时应把每轮视觉/文本输入和计费输出分别统计,再加上工具、运行环境和工程维护;重试消耗的 Token 如果已计入总量,就不要再重复加一次。

从 0.085 美元与约 4.25 美元的差距看,模型分层很可能成为常态:复杂、需要强推理的任务交给高能力模型,结构化程度高、频次大的任务交给低成本模型,而已经跑通的固定流程则像 CVS 的思路那样固化为确定性代码。需要说明,这些单任务成本来自特定基准条件,不能作为生产报价。

💰 成本优化:做分层选型前,建议先用小批量真实任务测出各模型的端到端成功率和单任务完整成本。API易 apiyi.com 采用按量计费,新用户有免费测试额度,适合在立项阶段低成本完成这类对照实验。

从医疗 Agent 到企业 Agent:可迁移的评测思路

医疗行政的特殊性在于高风险和强监管,但它暴露的问题在保险理赔、财务对账、供应链单据等企业流程中同样存在:多系统、强依赖、跨系统搬运数据。我们的判断是,以下四条原则可以直接迁移:

  1. 拆开报告:子任务得分与端到端成功率分列,绝不用前者代替后者
  2. 标注证据等级:合成环境演示、厂商自评、第三方基准、企业试点和生产案例分别归属,不混用
  3. 固定 Harness 再比较:观察方式、提示词、门户指导一旦变化,成绩就不再可比
  4. 治理优先于分数:最小权限、关键动作人工审批、操作后状态验证、全程 Trace 留痕和异常停止机制,应在上线前就作为验收项

在企业内部做 PoC 时,可以把任务集按“关键步骤”打标签,先跑出端到端基线,再逐步引入门户指导、结构化观察或代码固化,观察每项改动对完整成功率的真实贡献。如果需要在多个模型之间快速复现同一批任务,可以通过 API易 apiyi.com 统一接入,降低横向对比的工程成本。

值得持续关注的后续发展包括:OpenAI 是否公开 94.3% 背后的逐任务结果与实验配置;HealthAdminBench 后续版本是否在同一口径下发布新模型的完整任务成功率;以及更多机构能否披露真实生产环境中的人工介入率和错误分级数据。在这些信息出现之前,任何关于“医疗行政已可全面自动化”的说法都属于推测。

94.3% 证明了模型在评分点上的显著进步,36.3% 则提醒人们:一条业务流程能否被可靠完成,最终要在完整任务、真实系统和人工监督下检验。正如那句英文谚语所说:“The proof of the pudding is in the eating.”(布丁好不好,吃了才知道;实际效果要靠实践检验。)


参考资料

  1. OpenAI:Advancing computer-use agents for healthcare teams:94.3%、91.8%、99%、93% 等评测数据与合作案例
    • 链接: openai.com/index/advancing-computer-use-for-healthcare-teams/
  2. HealthAdminBench 论文 2604.09937v1:135 项任务、1,698 个子任务、分项结果与消融实验
    • 链接: arxiv.org/html/2604.09937v1
  3. HealthAdminBench 项目页与代码仓库:基准环境与评测实现
    • 链接: som-shahlab.github.io/health-admin-bench-website/
    • 链接: github.com/som-shahlab/health-admin-bench
  4. Stanford Shah Lab 早期研究页面:70 项任务、947 个评分点的历史版本
    • 链接: shahlab.stanford.edu/doku.php?id=healthadminbench
  5. OpenAI Computer Use 开发者文档与 API 定价:执行路径与 Standard 价格
    • 链接: developers.openai.com/api/docs/guides/tools-computer-use
    • 链接: developers.openai.com/api/docs/pricing
  6. CVS Health CUA Agent Kit:探索、证据、代码固化与工程师审查机制
    • 链接: github.com/cvs-health/cua-agent-kit
  7. RPA 与 Agent 比较研究:重复执行次数与 P1 例外说明
    • 链接: doi.org/10.1080/23311975.2026.2724760
  8. Cambridge Dictionary:谚语 proof of the pudding is in the eating 释义
    • 链接: dictionary.cambridge.org/us/dictionary/english/proof-of-the-pudding-is-in-the-eating

作者:APIYI 技术团队
技术交流:欢迎访问 API易 apiyi.com 与我们交流 Agent 评测实践,更多接入说明可查阅 docs.apiyi.com 文档中心

发表评论