Ежедневный повторный вызов одного и того же длинного промпта: сколько на самом деле позволяет экономить Prompt Caching на расходах API? Практический расчёт на 100 вызовах 4 моделей
Кратко: В этой статье мы прогоняем одну и ту же рабочую нагрузку и считаем стоимость Prompt Caching по четырём частям: запись в кэш, чтение из кэша, динамический ввод и вывод. А ещё разбираем, как на реальной экономии сказываются доля попаданий, TTL и частота вызовов. Вывод: В нашем сценарии рабочая нагрузка такая: фиксированный префикс 20K токенов … Читать далее