OpenAI Batch API: 50% 할인과 24시간 윈도우는 어떤 작업에 적합할까? 5가지 판단 기준

바로 답하자면, OpenAI Batch API는 “결과를 조금 늦게 받아도 되고, 요청들이 서로 독립적이며, 배치 규모가 큰” 작업에 적합해요. 가격은 동기 API의 절반이고, 별도의 레이트 리밋 풀을 사용해요. 제약 조건은 24시간 처리 윈도우이고, 이 윈도우가 특정 시점의 결과 전달을 보장하지는 않아요. 정해진 규칙에 따른 분류, 지식베이스 가공, 모델 평가 같은 오프라인 작업이라면 Batch를 우선 고려할 수 있어요. 실시간 고객 응대, 즉각적인 응답이 필요한 인터랙션, 그리고 앞 단계 결과가 다음 단계 내용을 결정하는 의존형 흐름은 Batch API에 맡기면 안 돼요.

openai-batch-api-50-percent-discount-24h-window-ko-image-0

이 글을 읽고 나면 무엇을 알 수 있나요?

  • OpenAI Batch API의 핵심 규칙: 할인, 레이트 리밋, 윈도우, 파일 형식, 개수 상한.
  • 제출 성공, 생성 성공, 기한 내 전달이라는 세 가지가 서로 어떻게 다른지.
  • 배치가 만료된 뒤 과금은 어떻게 되는지, 그리고 실패한 요청만 다시 실행하는 방법.
  • 반값 할인이 구체적으로 어느 부분의 비용을 아껴 주는지, 따라오지 않는 비용은 무엇인지.
  • 특정 작업이 Batch에 적합한지 판단하는 실용적인 방법.

인덱스: 본문에 앞서 개념 표 한 장과 영향 요약으로 기본 인식을 만들어 볼게요. 「객관적 사실」 부분에서는 공식 문서의 규칙을 항목별로 정리하고, 「분석과 판단」 부분에서는 이런 규칙이 작업 선정, 비용 산정, 엔지니어링 설계에 어떤 의미인지 논의하며 적합한 작업 유형과 부적합한 작업 유형을 제시해요.

미리 밝혀 둘게요. 이 글은 OpenAI가 지속적으로 관리하는 공식 Batch 가이드를 근거로 하며, 2026-11-17에 확인했어요. 이 문서에는 명확한 최초 공개일이 없어서, 이 글에서는 당일에 발표된 신기능으로 취급하지 않고, 이미 존재하는 기능에 대한 규칙 해설로 다뤄요.


To Know: OpenAI 배치 API의 핵심 개념 이해하기

개념 간단한 설명
동기 API 요청을 보내면 즉시 대기했다가 결과를 반환하는 일반적인 호출 방식
배치 API 대량의 요청을 한 번에 제출하고 비동기로 처리한 뒤 나중에 한꺼번에 결과를 가져오는 인터페이스
JSONL 한 줄마다 독립적인 JSON 객체가 들어 있는 텍스트 형식으로, 배치에서는 각 줄이 하나의 요청에 해당해요
custom_id 여러분이 각 요청에 설정하는 고유 식별자로, 출력 결과를 원래 요청과 다시 연결할 때 사용해요
독립 속도 제한 풀 배치 요청의 속도 제한은 동기 요청과 별도로 계산되어 서로 자원을 빼앗지 않아요
24시간 처리 윈도우 배치의 처리 시간 제한이에요. 시간이 지나면 완료되지 않은 요청은 취소돼요
만료된 배치 처리 윈도우를 넘겨도 전부 완료되지 않은 배치예요

OpenAI 배치 API 영향 한눈에 보기

  • 개발자: 오프라인 대량 작업의 API 비용은 동기 가격의 절반으로 추산할 수 있으며, 동시에 온라인 서비스의 동기 속도 제한 할당량도 차지하지 않아요. 하지만 custom_id 매칭, 실패한 요청 재제출, 결과 검증은 직접 구현해야 해요.
  • 콘텐츠 및 데이터 팀: 대량의 분류, 요약, 지식베이스 정리 같은 작업에서 더 경제적이에요. 그 대신 “즉시 결과가 나오는” 방식을 포기하고, 전달 시간에 여유를 둬야 해요.
  • 평가 및 연구 인원: 대규모 테스트 세트를 돌리는 데 배치 API가 아주 잘 맞아요. 다만 하나의 파일에는 하나의 모델만 사용할 수 있다는 점을 기억해야 하며, 여러 모델을 비교하려면 파일을 여러 개로 나눠야 해요.
  • 제품 및 운영 책임자: “24시간”을 “내일 아침엔 반드시 초안이 나온다”고 해석하면 안 돼요. 외부에 완료 시간을 약속할 때는 배치를 최선 노력(best-effort) 방식의 채널로 보는 게 좋아요.

OpenAI Batch API의 객관적 사실

Batch API의 과금 및 속도 제한 규칙

공식 Batch 가이드(OpenAI 공식 문서: developers.openai.com/api/docs/guides/batch)에 따르면 Batch API에는 세 가지 핵심 특성이 있어요:

  1. 비용 할인: 동기 API에 비해 50%의 비용 할인을 제공해요.
  2. 독립적인 속도 제한: 동기 요청과 쿼터를 공유하지 않는 별도의 속도 제한 풀을 사용해요.
  3. 처리 기간: 배치는 24시간 처리 기간 내에 완료돼요.

지원되는 모델과 엔드포인트는 공식 문서에 나열된 범위를 기준으로 해요. 현재로서는 “모든 모델이 Batch를 지원한다”고 단정할 수 없어요.

Batch API의 파일 형식 및 수량 상한

규칙 항목 공식 요구 사항 실제 의미
파일 형식 JSONL, 한 줄에 요청 하나 한 줄이 곧 하나의 독립 작업
요청 식별자 각 요청에 고유한 custom_id 결과 회수 시 이 값으로 매칭
모델 제약 파일 하나에는 하나의 모델만 사용 여러 모델 작업은 여러 파일로 나눠야 함
수량 상한 배치 하나당 최대 50,000개 요청 상한을 넘으면 여러 배치로 나눠 제출해야 함
크기 상한 배치 파일 하나당 최대 200MB 긴 컨텍스트 작업은 파일 크기 상한에 먼저 도달할 수 있음
출력 순서 입력 순서와 일치한다고 보장하지 않음 행 번호로 결과를 대응시킬 수 없음

아래는 custom_id의 위치를 설명하기 위한 요청 행 예시 구조예요. 구체적인 엔드포인트와 파라미터는 공식 문서의 지원 목록을 기준으로 해요.

{"custom_id": "article-001", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "MODEL_NAME", "messages": [{"role": "user", "content": "为以下主题写一段摘要:..."}]}}

Batch API의 만료 및 과금 규칙

배치가 처리 기간을 초과하면 아직 완료되지 않은 요청은 취소돼요. 이미 성공한 결과는 계속 다운로드할 수 있고, 과금은 성공한 요청에만 적용돼요.

문서는 한 가지 점을 함께 짚어요: 제출에 성공했다고 해서 생성에 성공한 것은 아니에요. 배치가 접수됐다는 것은 처리 흐름에 들어갔다는 뜻일 뿐, 모든 행에서 결과가 나온다는 뜻은 아니에요. 24시간 처리 기간도 “내일 아침 어느 시점에 결과물이 나온다”는 약속이 아니에요.

openai-batch-api-50-percent-discount-24h-window-ko-image-1

OpenAI Batch API 분석 및 판단

5할 할인은 어느 부분의 비용을 아끼는 걸까요

“5할 할인”은 Batch 처리 자체의 모델 호출 비용에 적용돼요. 아래에서는 설계 예시로 설명할게요. 수치는 실제 측정 데이터가 아니에요.

어떤 작업이 동기 요청 기준으로 100위안 청구된다고 가정하면, 동일한 요청을 Batch로 처리할 때의 예시 비용은 50위안이에요. 하지만 프로젝트 전체 비용이 반드시 절반이 되는 건 아니에요. 몇 가지 비용 항목은 자동으로 할인되지 않기 때문이에요.

비용 항목 Batch 5할 할인 적용 여부 설명
배치 처리 요청의 모델 호출 비용 적용됨 예시: 동기 100위안 → Batch 50위안
사전 리서치에 사용한 도구 호출 적용 안 됨 예를 들어 먼저 검색하고 조사한 뒤 무엇을 쓸지 결정
수동 검토 적용 안 됨 인력 비용은 청구 방식과 무관
추가 재시도 적용 안 됨, 별도 계산 필요 실패하거나 만료된 뒤 다시 실행하면 새로운 호출이 발생
엔지니어링 개발 및 유지보수 적용 안 됨 파일 생성, 결과 매칭, 재제출 로직에 투입이 필요

따라서 예산을 책정할 때는 5할 할인을 “배치 처리 가능한 호출 부분”에만 적용해야 하고, 프로젝트 총예산을 그대로 절반으로 줄여서는 안 돼요. 프로젝트에서 리서치와 검토 비중이 높다면 Batch로 인한 전체 절감 효과는 50%보다 크게 낮아질 수 있어요.

24시간 윈도우는 어떻게 이해해야 할까요

24시간 윈도우가 설명하는 것은 처리 기한이지, 전달 보장은 아니에요. 조금 더 안전한 방법은 Batch 결과를 “윈도우 기간 내에 높은 확률로 얻을 수 있지만 일부가 누락될 수 있는” 산출물로 보고, 일정에 재실행을 위한 시간을 남겨두는 거예요.

만약 비즈니스 쪽에서 “내일 오전 9시 전까지 전체 결과를 반드시 받아야 한다”고 요구한다면, Batch를 한 번만 제출하는 것만으로는 위험해요. 시간 요구가 엄격한 작업은 미리 제출하고 재실행 윈도우를 남겨두거나, 핵심 부분은 동기 요청으로 전환하는 게 좋아요.

openai-batch-api-50-percent-discount-24h-window-ko-image-2

custom_id는 Batch 엔지니어링 설계의 핵심이에요

출력 순서가 보장되지 않기 때문에 결과 수집은 전적으로 custom_id에 의존해야 해요. 따라서 custom_id는 설계 단계에서 업무적 의미를 갖고 전역에서 유일해야 하며, 예를 들어 “작업 유형-배치 번호-순번”처럼 만들어야 해요.

아래 설계 예시 역시 실제 테스트 결과가 아니에요. 동일한 모델로 서로 독립적인 글 20편을 생성하려면 20줄짜리 JSONL로 작성할 수 있어요. 최종적으로 18편이 성공하고 2편이 만료로 취소되었다면, custom_id를 통해 누락된 2편만 찾아 다시 제출하면 되고, 20편을 전부 다시 실행할 필요는 없어요. 성공한 18편은 성공 요청으로 과금되고, 취소된 2편은 과금되지 않아요.

이 흐름의 핵심 포인트는 다음과 같이 정리할 수 있어요:

  1. 제출 전에 각 줄의 custom_id가 유일한지 검증해요.
  2. 결과를 수집한 뒤 입력 custom_id 집합에서 출력 custom_id 집합을 빼서 누락 목록을 구해요.
  3. 누락 목록에 대해서만 새로운 JSONL을 생성해 다시 제출해요.
  4. 재실행은 새로운 호출 비용을 발생시키므로 예산에 반영해야 해요.

멀티 모델과 의존성 흐름은 분리해서 처리해야 해요

단일 파일에서는 하나의 모델만 사용할 수 있어요. 같은 프로젝트에서 A 모델이 분류를, B 모델이 요약을 맡게 하려면 파일을 두 개 준비해서 각각 제출하고 각각 회수해야 해요.

더 주의할 점은 의존 관계예요. 흐름이 “먼저 자료를 조사하고, 그 연구 결론에 따라 무엇을 쓸지 결정한다”라면 두 번째 단계가 첫 번째 단계의 출력에 의존하게 되죠. 이때 Batch가 이 두 단계를 자동으로 엮어주지는 않아요. 첫 번째 배치 결과를 회수한 뒤, 여러분의 프로그램이 두 번째 배치 요청을 생성해서 다시 제출해야 해요. 이는 전체 체인의 총 소요 시간이 여러 처리 윈도우에 걸쳐 누적될 수 있다는 뜻이기도 해요.

어떤 작업에 OpenAI Batch API가 적합할까요

작업 유형 Batch 적합 여부 이유
정해진 규칙에 따른 대량 분류 적합 규칙이 고정되고 항목이 독립적이며 실시간 반환이 급하지 않음
지식베이스 가공(요약, 정제, 구조화) 적합 데이터량이 많고 오프라인으로 완료할 수 있음
모델 평가, 테스트셋 대량 추론 적합 본질적으로 대량이고 시급성에 민감하지 않음
동일 모델의 독립 콘텐츠 대량 생성 적합 각 행이 독립적이고 실패 시 custom_id로 재실행 가능
실시간 고객 응대, 대화형 상호작용 부적합 사용자가 즉시 응답을 필요로 하므로 동기 호출 등을 사용해야 함
엄격한 전달 시점이 있는 작업 신중히 판단 24시간 윈도우가 구체적 시점을 보장하지 않음
먼저 조사한 뒤 내용을 결정하는 다단계 흐름 자체 편성 필요 Batch는 단계 간 의존성을 자동으로 처리하지 않음

간단한 판단 방법은 세 가지 질문을 연달아 던져보는 거예요. 결과를 조금 늦게 받아도 괜찮은가요? 각 요청이 서로 독립적인가요? 파일 작성과 회수 로직을 구현할 만큼 양이 많은가요? 세 답이 모두 “예”라면 Batch가 대개 더 경제적인 선택이에요. 하나라도 “아니요”라면 먼저 작업을 분리하거나 동기 호출을 유지해야 해요.

앞으로 주목할 변화

이 문서는 계속 관리되는 공식 문서이기 때문에, 지원되는 모델과 엔드포인트의 범위, 개수, 볼륨 상한이 조정될 수 있어요. 다음 내용은 예측이에요. 더 많은 모델과 엔드포인트가 Batch에 포함되면서, 오프라인 평가나 데이터 가공 같은 워크플로가 배치 처리를 더 많이 기본으로 선택하게 될 거예요. 실제로 연동할 때는 여전히 그때 문서에 적힌 규칙을 기준으로 해야 하고, 이 글을 확인한 날의 수치를 그대로 적용해서는 안 돼요.

Batch API의 가치는 어떤 일이 기다릴 수 있는지를 분명히 생각하게 해 준다는 데 있어요. 기다릴 의향이 있는 작업에는 절반 가격과 방해받지 않는 속도 제한 할당량이 주어지고, 즉시 응답이 필요한 작업은 계속 동기 요청으로 처리해요.

“서두르지 말고 작은 이익을 탐하지 말라. 서두르면 이루지 못하고, 작은 이익을 탐하면 큰일을 이루지 못한다.” — 《논어·자로》

댓글 남기기