OpenAI-Prompt-Caching: Ab wie vielen Wiederverwendungen lohnt es sich? Die Break-even-Schwelle bei 2 und 3 Wiederverwendungen klar berechnet
Direkte Antwort: Unter idealen Bedingungen ist der standardmäßige 30-Minuten-Prompt-Cache von OpenAI ab der zweiten Nutzung günstiger als die Variante ohne Cache; der 12-Stunden-Cache lohnt sich erst ab der dritten Nutzung. Die idealen Bedingungen lauten: Derselbe feste Präfix wird einmal vollständig in den Cache geschrieben, alle nachfolgenden Anfragen treffen ihn, und dazwischen wird nichts erneut geschrieben. … Weiterlesen