OpenAI Batch API:五折与 24 小时窗口适合哪些任务?5 个判断要点

直接回答:OpenAI Batch API 适合“结果可以晚一点拿到、彼此独立、批量很大”的任务。 它的价格是同步 API 的一半,并且使用独立的限速池。它的约束是 24 小时处理窗口,而且这个窗口不保证在某个具体时点交付结果。既定规则的分类、知识库加工、模型评测这类离线工作,可以优先考虑 Batch。实时客服、需要即时回复的交互,以及前一步结果决定后一步内容的依赖流程,不应交给 Batch API。

openai-batch-api-50-percent-discount-24h-window-image-0

您读完此文能了解到什么?

  • OpenAI Batch API 的核心规则:折扣、限速、窗口、文件格式和数量上限。
  • 提交成功、生成成功和按时交付这三件事之间的区别。
  • 批次过期后如何计费,以及如何只补跑失败的请求。
  • 五折具体省下哪部分成本,哪些成本不会跟着减半。
  • 判断一项任务是否适合 Batch 的实用方法。

索引: 正文前先用一张概念表和一份影响速览帮你建立基础认知。「客观事实」部分逐条整理官方文档中的规则;「分析判断」部分讨论这些规则对任务选型、成本测算和工程设计意味着什么,并给出适合与不适合的任务类型。

需要说明的是,本文依据的是 OpenAI 官方持续维护的 Batch 指南,于 2026-11-17 核查。这份文档没有明确的首发日期,所以本文不把它当作当日发布的新功能,而是对一项现有能力的规则解读。


To Know:理解 OpenAI Batch API 的关键概念

概念 简要解释
同步 API 发出请求后即时等待并返回结果的常规调用方式
Batch API 一次提交大量请求、异步处理、稍后统一取回结果的接口
JSONL 每一行是一个独立 JSON 对象的文本格式,Batch 中每行对应一个请求
custom_id 你为每条请求设定的唯一标识,用来把输出结果对应回原始请求
独立限速池 Batch 请求的速率限制与同步请求分开计算,彼此不互相挤占
24 小时处理窗口 批次的处理时限;超时后未完成的请求会被取消
过期批次 超过处理窗口仍未全部完成的批次

OpenAI Batch API 影响速览

  • 开发者: 离线批量任务的 API 费用可以按同步价格的一半来估算,同时不会占用线上服务的同步限速额度。但需要自己实现 custom_id 匹配、失败重提和结果校验。
  • 内容与数据团队: 大批量的分类、摘要、知识库清洗等工作更划算。代价是放弃“当场出结果”,交付时间要留出余量。
  • 评测与研究人员: 大规模跑测试集非常适合 Batch。不过需要注意,单个文件只能使用一个模型,多模型对比要拆成多个文件。
  • 产品与运营负责人: 不能把“24 小时”理解为“明早一定交稿”。对外承诺时效时,应当把 Batch 视为尽力而为的通道。

OpenAI Batch API 客观事实

Batch API 的计费与限速规则

根据官方 Batch 指南(OpenAI 官方文档: developers.openai.com/api/docs/guides/batch),Batch API 有三项核心特性:

  1. 成本折扣: 相比同步 API 提供 50% 的成本折扣。
  2. 独立限速: 使用独立的限速池,不与同步请求共享额度。
  3. 处理窗口: 批次在 24 小时窗口内完成处理。

支持哪些模型和端点,以官方文档列出的范围为准。目前不能笼统地说“所有模型都支持 Batch”。

Batch API 的文件格式与数量上限

规则项 官方要求 实际含义
文件格式 JSONL,每行一个请求 一行就是一个独立任务
请求标识 每条请求有唯一 custom_id 结果回收全靠它来匹配
模型约束 单个文件只能用一个模型 多模型任务需要拆成多个文件
数量上限 单批最多 50,000 个请求 超过上限要分批提交
体积上限 单批文件最大 200MB 长上下文任务可能先触及体积上限
输出顺序 不保证与输入顺序一致 不能按行号对应结果

下面是一条请求行的示意结构,用于说明 custom_id 的位置。具体端点和参数以官方文档的支持列表为准:

{"custom_id": "article-001", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "MODEL_NAME", "messages": [{"role": "user", "content": "为以下主题写一段摘要:..."}]}}

Batch API 的过期与计费规则

如果批次超过处理窗口,其中尚未完成的请求会被取消。已经成功的结果仍然可以下载,计费只针对成功的请求。

文档同时提醒了一点:提交成功不等于生成成功。 批次被接收,只代表进入了处理流程,不代表每一行都会产出结果。24 小时窗口也不是“明早某个时点交稿”的承诺。

openai-batch-api-50-percent-discount-24h-window-image-1


OpenAI Batch API 分析判断

五折省的是哪部分钱

“五折”针对的是 Batch 处理本身的模型调用费用。下面用一个设计示例说明,数字不是实测数据。

假设某项任务按同步请求计费为 100 元,那么相同请求走 Batch 的示意费用是 50 元。整个项目的总成本却未必减半,因为有几类成本不会自动打折:

成本项 是否随 Batch 五折 说明
批处理请求的模型调用费 是 示意:同步 100 元对应 Batch 50 元
前置研究所用的工具调用 否 例如先检索、调研再确定写什么
人工审核 否 人力成本与计费方式无关
额外重试 否,需另行计算 失败或过期后补跑会产生新的调用
工程开发与维护 否 文件生成、结果匹配、重提逻辑需要投入

所以做预算时,应把五折只套在“可批处理的那部分调用”上,不要直接把项目总预算砍一半。如果一个项目里研究和审核占比很高,Batch 带来的整体节省会明显小于 50%。

24 小时窗口应该怎样理解

24 小时窗口描述的是处理时限,不是交付承诺。比较稳妥的做法是:把 Batch 结果当作“窗口期内大概率可得,但可能部分缺失”的产出,并在排期里为补跑留出时间。

如果业务方要求“明天上午 9 点前必须拿到全部结果”,那么只靠一次 Batch 提交是有风险的。对时效要求刚性的任务,可以提前提交、预留补跑窗口,或者把关键部分改走同步请求。

openai-batch-api-50-percent-discount-24h-window-image-2

custom_id 是 Batch 工程设计的核心

由于输出不保证顺序,结果回收必须完全依赖 custom_id。这就要求 custom_id 在设计阶段就有业务含义,并且全局唯一,比如“任务类型-批次号-序号”。

下面这个设计示例同样不是实测:要生成 20 篇同一模型、彼此独立的文章,可以写成 20 行 JSONL。如果最终 18 篇成功、2 篇因过期被取消,只需通过 custom_id 找出缺失的 2 篇重新提交,不必把 20 篇全部重跑。已成功的 18 篇按成功请求计费,被取消的 2 篇不计费。

这个流程的关键点可以归纳为:

  1. 提交前校验每行 custom_id 是否唯一。
  2. 结果回收后,用输入 custom_id 集合减去输出 custom_id 集合,得到缺失清单。
  3. 只针对缺失清单生成新的 JSONL 再提交。
  4. 补跑产生的是新的调用费用,要计入预算。

多模型和依赖流程要拆开处理

单个文件只能使用一个模型。如果同一个项目想让 A 模型做分类、B 模型做摘要,就要分别准备两个文件,各自提交、各自回收。

更值得注意的是依赖关系。如果流程是“先研究资料,再根据研究结论决定写什么”,第二步依赖第一步的输出,那么 Batch 不会替你自动编排这两步。你需要在第一批结果回收后,由自己的程序生成第二批请求再提交。这也意味着整条链路的总耗时可能叠加多个处理窗口。

哪些任务适合 OpenAI Batch API

任务类型 是否适合 Batch 理由
按既定规则的批量分类 适合 规则固定、条目独立、不急于实时返回
知识库加工(摘要、清洗、结构化) 适合 数据量大,可离线完成
模型评测、测试集批量推理 适合 天然批量,对时效不敏感
同模型独立内容批量生成 适合 每行独立,失败可按 custom_id 补跑
实时客服、对话交互 不适合 用户需要即时回复,应使用同步等方式
有严格交付时点的任务 谨慎 24 小时窗口不保证具体时点
先研究再决定内容的多步流程 需自行编排 Batch 不自动处理步骤间依赖

一个简单的判断方法是连问三个问题:结果能不能晚一点拿到?每条请求是否彼此独立?量是否大到值得写文件和回收逻辑?三个答案都是“是”,Batch 通常就是更划算的选择。只要有一个答案是“否”,就要先拆分任务,或者保留同步调用。

后续值得关注的变化

由于这是一份持续维护的官方文档,支持的模型与端点范围、数量和体积上限都可能调整。以下判断属于预测:随着更多模型和端点被纳入 Batch,离线评测和数据加工类工作流会更多地默认采用批处理。实际接入时,仍应以届时文档列出的规则为准,不要直接沿用本文核查日的数值。

Batch API 的价值,在于让人想清楚哪些事可以等。愿意等的任务换来一半的价格和不受打扰的限速额度;必须立刻得到回应的任务,则继续交给同步请求。

「无欲速,无见小利。欲速则不达,见小利则大事不成。」——《论语·子路》

发表评论