Cache petunjuk OpenAI: Berapa kali penggunaan ulang agar menguntungkan? Hitung jelas titik impas 2 kali dan 3 kali

img-20bab36c8ddd95489ea169bc

Jawaban langsung: Dalam kondisi ideal, cache petunjuk 30 menit bawaan OpenAI sudah lebih murah daripada tanpa cache sejak penggunaan ke-2, sedangkan cache 12 jam baru mulai hemat pada penggunaan ke-3. Kondisi ideal di sini adalah: prefiks tetap yang sama ditulis secara lengkap ke cache satu kali, semua permintaan berikutnya mengalami hit, dan tidak ada penulisan … Baca Selengkapnya