Cache d’invites OpenAI : combien de réutilisations pour que ce soit rentable ? Le seuil de rentabilité à 2 et 3 reprises, calculé clairement
Réponse directe : dans des conditions idéales, le cache d’invites de 30 minutes activé par défaut chez OpenAI devient moins coûteux que l’absence de cache dès la 2ᵉ utilisation, tandis que le cache de 12 heures ne commence à être rentable qu’à la 3ᵉ utilisation. Les conditions idéales en question : un même préfixe fixe … Lire la suite