Llamar repetidamente todos los días a la misma indicación larga: ¿cuánto puede ahorrar realmente Prompt Caching en costos de API? Cálculo real con 4 modelos y 100 invocaciones
Resumen: Este artículo utiliza un mismo conjunto de cargas de trabajo para calcular el costo de Prompt Caching en sus cuatro partes —escritura en caché, lectura de caché, entrada dinámica y salida— y explica cómo la tasa de aciertos, el TTL y el ritmo de llamadas afectan el ahorro real. Conclusión: La carga de trabajo … Leer más