Кэширование промптов OpenAI: сколько раз нужно повторно использовать, чтобы это окупилось? Точка окупаемости для 2 и 3 раз рассчитана

img-20bab36c8ddd95489ea169bc

Короткий ответ: при идеальных условиях стандартное 30-минутное кэширование промптов OpenAI становится дешевле, чем работа без кэша, уже со 2-го использования, а 12-часовое кэширование — только с 3-го. Идеальные условия здесь такие: один и тот же фиксированный префикс один раз полностью записывается в кэш, все последующие запросы попадают в кэш, и повторных записей за это время … Читать далее