Cache d’invites OpenAI : combien de réutilisations pour que ce soit rentable ? Le seuil de rentabilité à 2 et 3 reprises, calculé clairement

img-20bab36c8ddd95489ea169bc

Réponse directe : dans des conditions idéales, le cache d’invites de 30 minutes activé par défaut chez OpenAI devient moins coûteux que l’absence de cache dès la 2ᵉ utilisation, tandis que le cache de 12 heures ne commence à être rentable qu’à la 3ᵉ utilisation. Les conditions idéales en question : un même préfixe fixe … Lire la suite