Memanggil petunjuk panjang yang sama berulang kali setiap hari: Seberapa besar biaya API yang benar-benar dapat dihemat Prompt Caching? Perhitungan nyata 4 model dengan 100 pemanggilan
Ringkasan: Artikel ini menggunakan satu set beban kerja yang sama untuk menghitung biaya Prompt Caching pada empat bagian: penulisan cache, pembacaan cache, input dinamis, dan output, sekaligus menjelaskan bagaimana tingkat hit, TTL, dan ritme pemanggilan memengaruhi penghematan aktual. Kesimpulan: Beban kerja yang ditetapkan dalam artikel ini adalah prefiks tetap 20K Token per panggilan, input dinamis … Baca Selengkapnya