바로 답하자면, 이상적인 조건에서는 OpenAI의 기본 30분 프롬프트 캐싱이 두 번째 사용부터 캐시를 쓰지 않는 것보다 저렴하고, 12시간 캐시는 세 번째 사용부터 이익이 나기 시작합니다. 여기서 이상적인 조건은 동일한 고정 프리픽스를 먼저 한 번 완전히 캐시에 기록한 뒤, 이후 요청이 모두 적중하고 그동안 중복 쓰기가 없는 경우를 말합니다. gpt-6-luna의 표준 짧은 컨텍스트 요금제 공식 가격으로 계산하면, 10,000 토큰짜리 고정 프리픽스를 총 10회 사용할 때 30분 캐시는 캐시 없음 대비 약 78.5%, 12시간 캐시는 약 66%를 절약합니다. 다만 이는 고정 프리픽스 부분만의 계산이며, 전체 요청이 할인된다는 의미는 아닙니다.
이 글을 읽고 무엇을 알 수 있을까요?
- 프롬프트 캐시가 적중하는 실제 조건과 그것이 ‘의미상 유사’와 어떻게 다른지.
- 30분과 12시간 두 가지 쓰기 요율이 어떻게 계산되는지, 그리고 왜 일반 입력 요금을 다시 더할 수 없는지.
- 검증 가능한 1회, 2회, 3회, 10회 사용 계산 예시와 임의의 프리픽스 길이에 적용할 수 있는 손익분기 공식.
- 이 규칙이 개발자의 프롬프트 구조 설계와 배치 작업 계획에 각각 어떤 의미인지.
목차: 먼저 개념 표와 영향 요약으로 용어와 영향을 받는 대상을 정리합니다. ‘객관적 사실’ 부분에서는 공식 문서의 캐싱 규칙, 가격, 계산 예시 데이터를 정리하고, ‘분석과 판단’ 부분에서는 손익분기선의 수학적 관계를 설명하며 프롬프트 구조, 배치 일정, 흔한 오해를 논의합니다.

OpenAI 프롬프트 캐싱 To Know: 개념 설명
| 개념 | 간단한 설명 |
|---|---|
| 프롬프트 캐싱(Prompt Caching) | OpenAI가 반복되는 프롬프트 접두사를 캐시하고, 이후 요청이 적중하면 더 낮은 “캐시 읽기” 가격으로 과금해요 |
| 프롬프트 접두사 | 한 번의 요청 입력에서 맨 앞부터 이어지는 연속 내용으로, 캐시는 의미가 비슷한 내용이 아니라 완전히 똑같은 접두사에만 매칭돼요 |
| 가시 입력 토큰 | 캐시 임계값에 포함되는 입력 토큰이에요. GPT-5.6 이후 모델은 최소 1024개가 있어야 캐시를 사용할 수 있어요 |
| 캐시 쓰기 | 처음으로 접두사를 캐시에 저장할 때의 과금으로, 일반 입력 가격의 배수로 책정되는 총 쓰기 요율이에요 |
| 캐시 읽기 | 이후 요청이 캐시에 적중할 때의 과금으로, 가격이 일반 입력보다 훨씬 낮아요 |
| 30분 / 12시간 캐시 | 두 가지 캐시 유효 기간 등급으로 기본은 30분이에요. 12시간 등급은 Responses API에서 제공되며 쓰기 비용이 더 비싸요 |
| Standard 처리 등급 | 공식 가격표의 표준 처리 등급으로, 처리 등급마다 가격이 다르며 서로 섞어 쓸 수 없어요 |
| Short context 등급 | 공식 가격표는 컨텍스트 길이에 따라 등급을 구분하며, 이 글에서는 짧은 컨텍스트 등급 가격만 사용해요 |
OpenAI 프롬프트 캐싱 영향 한눈에 보기
- API 개발자: 캐시가 비용을 절감하는지는 “켜기만 하면 절약”이 아니라 재사용 횟수와 유효 시간 내 적중률에 달려 있어요. 30분 등급은 총 2회 사용(최초 쓰기 + 1회 적중)만으로도 캐시를 쓰지 않을 때보다 저렴하고, 12시간 등급은 쓰기 비용이 더 높아 더 많은 재사용이 있어야 비용을 상쇄할 수 있어요.
- 에이전트를 만들거나 긴 시스템 프롬프트를 쓰는 팀: 고정 규칙, 도구 설명, 긴 문서를 앞에 두고 변하는 내용을 뒤에 두어야 접두사가 안정적으로 적중해요. 이건 파라미터 문제가 아니라 구조 설계 문제예요.
- 배치 처리 작업을 하는 팀: 동일한 접두사를 쓰는 요청을 캐시 유효 시간 안에 몰아서 보내면 적중률을 크게 높일 수 있어요. 작업이 하루 종일 흩어져 있다면 12시간 등급이 그만한 가치가 있는지 따져봐야 해요.
- 비용 산정 담당자: 캐시는 고정 접두사에 해당하는 입력 비용에만 영향을 주며, 출력, 새로 추가된 자료, 도구 호출, 재시도는 여기에 포함되지 않아요. 예산표에서 캐시 절감 비율을 전체 청구서에 그대로 적용해서는 안 돼요.
OpenAI 프롬프트 캐싱에 관한 객관적 사실
정보 출처 및 시점 안내
이 글은 2026-11-17에 자료를 검토하여 작성했으며, 출처는 OpenAI가 지속적으로 관리하는 공식 문서입니다. 프롬프트 캐싱 가이드 developers.openai.com/api/docs/guides/prompt-caching와 가격 페이지 developers.openai.com/api/docs/pricing.md를 참고했어요. 이런 문서는 수시로 업데이트되고, 저희가 해당 규칙의 최초 발표일까지 확인한 것은 아니기 때문에 이 글은 당일 뉴스가 아니라 현행 규칙을 정리하고 계산해 본 결과물이에요.
프롬프트 캐시의 적중 규칙
OpenAI 프롬프트 캐시가 매칭하는 대상은 동일한 프롬프트 프리픽스예요. 두 프롬프트의 의미가 거의 같더라도 앞부분 내용이 다르면 적중하지 않아요. 의미 유사도로 찾아주는 방식이 아니거든요. 즉, 프리픽스에서 단 한 글자만 달라져도 — 예를 들어 시스템 프롬프트 맨 앞에 현재 시각을 넣는 것만으로도 — 뒤따르는 내용 전체가 적중 기회를 잃을 수 있어요.
GPT-5.6 이후 모델의 캐시 기준은 최소 1024개의 입력 토큰(보이는 토큰 기준)이에요. 구형 모델은 규칙이 다르기 때문에, 이 글의 과금과 기준에 관한 결론은 공식 문서에 설명된 새 규칙에만 적용되고 구형 모델에 그대로 갖다 붙일 수는 없어요.
두 가지 캐시 쓰기 요율
| 캐시 등급 | 쓰기 요율(일반 입력 대비) | 적용 설명 |
|---|---|---|
| 30분(기본) | 1.25배 | 기본 캐시 유효 시간 |
| 12시간 | 2.5배 | Responses API에서 제공 |
공식 문서는 이 두 배수가 모두 총 쓰기 요율이라고 분명히 밝히고 있어요. 처음 쓸 때 이 요율로 과금되고, 일반 입력 비용이 따로 한 번 더 붙지 않아요. 또 하나 짚고 갈 부분은 12시간이 캐시 유효 시간을 뜻하지, 데이터 삭제 기한이 아니라는 점이에요. 이 둘은 절대 같은 개념으로 보면 안 돼요.
gpt-6-luna 공식 가격
아래는 OpenAI 공식 가격 페이지에서 gpt-6-luna의 Standard 처리 등급, Short context 구간 가격을 정리한 내용이에요. 단위는 100만 Token당 가격입니다. 이 가격은 긴 컨텍스트 구간이나 다른 처리 등급에는 적용되지 않으며, 어떤 제3자 플랫폼의报价도 아니에요.
| 과금 항목 | 가격 (달러 / 100만 Token) |
|---|---|
| 일반 입력 | $0.10 |
| 출력 | $0.50 |
| 읽기 캐시 | $0.01 |
| 30분 캐시 쓰기 | $0.125 |
| 12시간 캐시 쓰기 | $0.25 |
보시다시피 30분 쓰기 가격인 $0.125는 일반 입력의 정확히 1.25배이고, 12시간 쓰기 가격인 $0.25는 2.5배예요. 문서에 적힌 배수 규칙과 일치하죠. 읽기 캐시는 일반 입력의 10분의 1 수준입니다.
재사용 횟수 계산 예시
아래 계산 예시는 공식 가격을 기준으로 도출한 이론적 계산이며, 실측 값이 아니에요. 가정 조건은 이렇습니다. 고정 프리픽스가 10000개의 과금 Token이고, 첫 사용 시 캐시에 전체를 기록한 뒤 매번 캐시 적중되며, 그동안 중복 쓰기는 없다고 가정했어요.
| 총 사용 횟수 | 캐시 미사용 | 30분 캐시 | 12시간 캐시 |
|---|---|---|---|
| 1회 | $0.001 | $0.00125 | $0.0025 |
| 2회 | $0.002 | $0.00135 | $0.0026 |
| 3회 | $0.003 | $0.00145 | $0.0027 |
| 10회 | $0.010 | $0.00215 | $0.0034 |
이 가정 아래에서 30분 캐시는 총 사용 2회째부터 캐시 미사용보다 저렴해지고, 12시간 캐시는 3회째부터 더 저렴해져요. 1회만 사용할 때는 두 캐시 모두 캐시 미사용보다 비쌉니다. 쓰기 프리미엄을 더 지불했지만 읽기 할인은 누리지 못하기 때문이죠.

계산 예시의 적용 경계
이 수치들은 고정 프리픽스 부분만 계산했어요. 매 요청에서 새로 추가되는 자료, 모델 출력, 도구 호출, 실패 후 재시도는 계산 범위에 포함되지 않기 때문에 전체 요청에 대한 할인율이 아니에요. 두 사용 사이의 간격이 캐시 유효 시간을 넘으면, 이후 요청은 더 이상 ‘전부 적중’으로 계산할 수 없고 다시 쓰기 비용을 더해야 해요.
OpenAI 프롬프트 캐시 분석 판단
손익분기점이 왜 2회와 3회인가
계산 예시를 임의의 사용 횟수 N으로 일반화하면 세 가지 비용선을 쓸 수 있어요(단위는 프리픽스 토큰 백만 개당 달러 비용).
- 캐시 안 함: 0.10 × N
- 30분 캐시: 0.125 + 0.01 × (N − 1)
- 12시간 캐시: 0.25 + 0.01 × (N − 1)
캐시 비용이 캐시 안 함 비용보다 작아지도록 하면, 30분 옵션은 N이 약 1.28보다 커야 하므로 두 번째부터 이득이고, 12시간 옵션은 N이 약 2.67보다 커야 하므로 세 번째부터 이득이에요. 이 결론은 프리픽스 길이와 무관한데, 세 비용선 모두 토큰 수에 비례하기 때문이에요. 프리픽스가 2000 토큰에서 50000 토큰으로 바뀌어도 손익분기 횟수는 그대로이고, 달라지는 건 절약되는 절대 금액뿐이에요. 전제 조건은 프리픽스가 1024 토큰 기준을 충족하고 가격 티어가 일치해야 한다는 점이에요.
구조적으로 보면, 쓰기 프리미엄은 일회성 비용이고, 매번 캐시가 적중할 때 생기는 절약은 일반 입력 가격과 캐시 읽기 가격의 차이, 즉 백만 토큰당 $0.09예요. 30분 옵션의 프리미엄은 $0.025에 불과해서 한 번 적중하면 상쇄되고, 12시간 옵션의 프리미엄은 $0.15라서 두 번 적중해야 상쇄돼요. 이것이 두 손익분기점이 한 번 차이 나는 이유예요.
재사용 가능한 원가 회수 계산 스크립트
아래 스크립트는 이 글의 가정대로 계산 예시를 재현한 것이에요. 가격과 사용 횟수를 바꿔 넣기만 하면 자신의 시나리오를 빠르게 판단할 수 있어요. 가격 파라미터는 공식 가격 페이지의 최신 값을 기준으로 하세요.
# 공식 gpt-6-luna Standard / Short context 가격 기준 (달러 / 백만 Token)
INPUT = 0.10
CACHE_READ = 0.01
WRITE = {"30min": 0.125, "12h": 0.25}
def prefix_cost(prefix_tokens: int, uses: int, mode: str | None) -> float:
"""고정 프리픽스 비용만 계산합니다. 첫 요청은 전체를 쓰고, 이후 요청은 모두 캐시 히트하며, 중복 쓰기는 없다고 가정합니다"""
m = prefix_tokens / 1_000_000
if mode is None:
return INPUT * uses * m
return (WRITE[mode] + CACHE_READ * (uses - 1)) * m
for n in (1, 2, 3, 10):
base = prefix_cost(10_000, n, None)
c30 = prefix_cost(10_000, n, "30min")
c12 = prefix_cost(10_000, n, "12h")
print(f"{n:>2} 次 不缓存 ${base:.5f} 30分钟 ${c30:.5f} 12小时 ${c12:.5f}")
실행 결과는 앞서 나온 계산 예시 표와 일치합니다. 실제 상황에서 일부 요청이 캐시 미스라면, 미스가 난 횟수를 “다시 쓰기”로 처리하면 되고, 그만큼 회수 기준점은 뒤로 밀리게 됩니다.
프롬프트 구조가 스위치보다 더 중요해요
캐시는 완전히 동일한 프리픽스만 인식하기 때문에, 프롬프트의 배열 순서가 적중률을 직접 결정해요. 더 안정적인 방법은 고정된 시스템 규칙, 역할 설정, 도구 정의, 참조 문서를 맨 앞에 두고, 사용자 질문·검색 결과·타임스탬프처럼 매번 달라지는 자료를 맨 뒤에 배치하는 거예요. 변하는 필드가 프리픽스 앞부분에 한 번이라도 섞이면, 뒤에 아무리 긴 고정 콘텐츠가 있어도 재사용할 수 없어요.

또 하나 짚고 넘어갈 흔한 오해가 있어요. 1024 토큰 기준을 채우려고 프롬프트에 무관한 내용을 채워 넣는 건 전혀 이득이 없어요. 채워 넣은 토큰은 첫 번째에는 쓰기 가격으로, 이후에는 매번 읽기 캐시 가격으로 과금되고, 게다가 모델이 진짜 지시를 이해하는 데 방해가 될 수도 있어요. 이 기준의 의미는 짧은 프롬프트는 원래 캐시가 필요 없다는 걸 알려주는 것이지, 짧은 프롬프트를 길게 늘리라는 뜻이 아니에요.
배치 구성이 “전부 적중”을 좌우해요
계산 사례의 또 다른 핵심 전제는 이후 요청이 모두 적중한다는 점이에요. 현실에서는 같은 프리픽스에 대한 요청이 하루 동안 띄엄띄엄 흩어져 있으면, 30분 티어는 두 요청 사이에 만료되기 십상이에요. 그러면 매번 다시 쓰게 되어 캐시를 쓰지 않는 것보다 오히려 더 비쌀 수 있죠. 이때 두 가지 접근이 있어요. 하나는 같은 종류의 작업을 배치로 묶어 30분 안에 연속해서 보내는 것이고, 다른 하나는 12시간 티어를 검토해 더 높은 일회성 쓰기 비용을 내고 더 긴 유효 기간을 얻는 거예요.
선택은 경험적인 판단 하나로 단순화할 수 있어요. 요청이 밀집하고 간격이 짧다면 기본 30분 티어를 쓰면 되고, 총 2회만 사용해도 캐시를 쓰지 않는 것보다 저렴해요. 요청이 드문드문하지만 같은 날 같은 프리픽스를 반복 사용하고 총 사용 횟수가 안정적으로 3회 이상에 도달한다면 12시간 티어가 의미가 있어요. 어떤 프리픽스가 유효 기간 안에 1회만 쓰일 가능성이 크다면, 캐시를 쓰지 않는 쪽이 오히려 가장 저렴한 선택이에요.
비용 계산에서 과대평가되기 쉬운 부분
10회 사용 시 약 78.5%를 절약한다는 숫자는 눈에 띄지만, 이는 고정 프리픽스의 입력 비용만 겨냥한 거예요. gpt-6-luna의 가격 구조에서 출력 가격은 일반 입력의 5배예요. 따라서 어떤 애플리케이션의 출력이 아주 길거나, 매 요청마다 새 검색 자료를 대량으로 붙인다면, 프리픽스 캐시로 아낀 비용이 전체 청구서에서 차지하는 비중은 그리 높지 않을 수 있어요. 예산을 잡을 때는 요청을 “고정 프리픽스”, “동적 입력”, “출력”, “도구와 재시도”로 나눠 각각 추정하고, 첫 번째 항목에만 캐시 공식을 적용하는 편이 더 합리적이에요.
또한 여기서 설명한 쓰기 배수 규칙은 GPT-5.6 및 이후 모델에 적용돼요. 계산 사례의 구체적인 가격은 gpt-6-luna의 Standard 처리 티어, Short context 티어에만 해당해요. 구형 모델이나 긴 컨텍스트 티어, 또는 다른 처리 티어로 바꾸면 가격을 다시 확인하고 다시 계산해야 하며, 캐시 적중 횟수도 그에 따라 달라질 수 있어요. 공식 문서는 계속 관리되므로 이후 규칙이 조정되면 결론은 그 시점의 문서를 기준으로 삼아야 해요. 이 점은 이미 발생한 변화가 아니라 계속 주시해야 하는 변수예요.
순자는 《권학》에서 이렇게 썼어요. “흙을 쌓아 산을 이루면 바람과 비가 그곳에서 일어나고, 물을 모아 못을 이루면 교룡이 그곳에서 생겨난다.” 프롬프트 캐시의 계산도 마찬가지예요. 한 번의 쓰기는 그저 비용을 치르는 일일 뿐이고, 진짜 절약은 유효 기간 안에서 한 번 또 한 번 안정적으로 재사용할 때 나와요.