Caché de indicaciones de OpenAI: ¿cuántas reutilizaciones son rentables? El umbral de rentabilidad para 2 y 3 reutilizaciones, calculado con claridad
Respuesta directa: en condiciones ideales, la caché de indicaciones predeterminada de 30 minutos de OpenAI ya resulta más barata que no usar caché a partir del segundo uso, mientras que la caché de 12 horas empieza a ser rentable a partir del tercer uso. Las condiciones ideales aquí son: un mismo prefijo fijo se escribe … Leer más