매일 동일한 긴 프롬프트를 반복 호출: Prompt Caching은 실제로 API 비용을 얼마나 절감할까? 4개 모델 100회 호출 실측 계산
요약: 이 글은 동일한 워크로드를 사용해 Prompt Caching의 캐시 쓰기, 캐시 읽기, 동적 입력, 출력 네 부분 비용을 계산하고, 적중률과 TTL, 호출 주기가 실제 절감액에 어떤 영향을 미치는지 설명해요. 결론: 이 글에서 설정한 워크로드는 매 호출마다 고정 프리픽스 20K Token, 동적 입력 500 Token, 출력 1K Token이며, 하루 100회 호출해요. “첫 호출에서 쓰기, 이후 99회 … 더 읽기