Täglicher wiederholter Aufruf derselben langen Eingabeaufforderung: Wie viel API-Kosten spart Prompt Caching wirklich? Tatsächliche Berechnung für 4 Modelle und 100 Aufrufe
Zusammenfassung: Dieser Artikel berechnet mit derselben Workload, wie sich die Kosten von Prompt Caching auf die vier Bereiche Cache-Schreiben, Cache-Lesen, dynamische Eingabe und Ausgabe verteilen – und zeigt, wie Trefferquote, TTL und Aufrufrhythmus die tatsächliche Ersparnis beeinflussen. Fazit: Die hier definierte Workload besteht aus einem festen Prefix von 20K Token pro Aufruf, 500 Token dynamischer … Weiterlesen