OpenAI Batch API: Diskon 50% dan jendela 24 jam cocok untuk tugas apa? 5 poin pertimbangan

Jawaban langsung: OpenAI Batch API cocok untuk tugas-tugas yang “hasilnya bisa didapat belakangan, saling independen, dan bervolume besar”. Harganya setengah dari API sinkron, dan menggunakan pool batas laju tersendiri. Batasannya adalah jendela pemrosesan 24 jam, dan jendela ini tidak menjamin hasil dikirim pada titik waktu tertentu. Pekerjaan offline seperti klasifikasi berdasarkan aturan tetap, pemrosesan basis pengetahuan, dan evaluasi model dapat dipertimbangkan lebih dahulu untuk Batch. Layanan pelanggan real-time, interaksi yang membutuhkan balasan instan, serta alur dependen di mana hasil langkah sebelumnya menentukan isi langkah berikutnya, tidak seharusnya diserahkan kepada Batch API.

openai-batch-api-50-percent-discount-24h-window-id-image-0

Apa yang bisa Anda pahami setelah membaca artikel ini?

  • Aturan inti OpenAI Batch API: diskon, batas laju, jendela, format file, dan batas jumlah.
  • Perbedaan antara tiga hal: pengiriman berhasil, pembuatan berhasil, dan pengiriman tepat waktu.
  • Bagaimana penagihan dilakukan setelah batch kedaluwarsa, dan bagaimana hanya menjalankan ulang permintaan yang gagal.
  • Bagian biaya mana yang secara spesifik dihemat oleh diskon 50%, dan biaya mana yang tidak ikut berkurang setengah.
  • Metode praktis untuk menilai apakah suatu tugas cocok untuk Batch.

Indeks: Sebelum masuk ke isi utama, sebuah tabel konsep dan ringkasan dampak akan membantu Anda membangun pemahaman dasar. Bagian 「Fakta Objektif」 merangkum aturan dari dokumentasi resmi satu per satu; bagian 「Analisis dan Penilaian」 membahas apa arti aturan-aturan ini bagi pemilihan tugas, perhitungan biaya, dan desain teknik, sekaligus memberikan jenis tugas yang cocok dan tidak cocok.

Perlu dijelaskan bahwa artikel ini berdasarkan panduan Batch resmi OpenAI yang terus dipelihara, diperiksa pada 2026-11-17. Dokumen ini tidak memiliki tanggal rilis pertama yang jelas, sehingga artikel ini tidak menganggapnya sebagai fitur baru yang dirilis pada hari itu, melainkan sebagai interpretasi aturan atas kemampuan yang sudah ada.


Yang Perlu Diketahui: Memahami Konsep Kunci OpenAI Batch API

Konsep Penjelasan singkat
API Sinkron Cara pemanggilan biasa: permintaan dikirim lalu hasilnya langsung ditunggu dan dikembalikan
Batch API Antarmuka untuk mengirim banyak permintaan sekaligus, diproses secara asinkron, lalu hasilnya diambil kembali secara seragam di kemudian hari
JSONL Format teks di mana setiap baris adalah objek JSON mandiri; dalam Batch, setiap baris mewakili satu permintaan
custom_id Pengenal unik yang Anda tetapkan untuk tiap permintaan, dipakai untuk memetakan hasil keluaran kembali ke permintaan aslinya
Pool batas laju terpisah Batas laju untuk permintaan Batch dihitung terpisah dari permintaan sinkron, sehingga keduanya tidak saling mengambil jatah
Jendela pemrosesan 24 jam Batas waktu pemrosesan sebuah batch; permintaan yang belum selesai setelah waktu habis akan dibatalkan
Batch kedaluwarsa Batch yang masih belum selesai seluruhnya meski sudah melewati jendela pemrosesan

Ringkasan Dampak OpenAI Batch API

  • Developer: Biaya API untuk tugas batch offline bisa diperkirakan sekitar setengah dari harga sinkron, sekaligus tidak memakan kuota batas laju sinkron layanan online. Hanya saja, Anda perlu mengimplementasikan sendiri pencocokan custom_id, pengiriman ulang saat gagal, dan validasi hasil.
  • Tim konten dan data: Pekerjaan klasifikasi, ringkasan, dan pembersihan basis pengetahuan dalam jumlah besar jadi lebih hemat biaya. Konsekuensinya, Anda harus melepaskan “hasil instan saat itu juga”, dan waktu penyelesaian perlu diberi kelonggaran.
  • Tim evaluasi dan peneliti: Menjalankan set pengujian dalam skala besar sangat cocok menggunakan Batch. Namun perlu diperhatikan, satu file hanya bisa memakai satu model; untuk membandingkan beberapa model, harus dipecah menjadi beberapa file.
  • Penanggung jawab produk dan operasi: Jangan memahami “24 jam” sebagai “pasti selesai besok pagi”. Saat menjanjikan waktu penyelesaian ke pihak eksternal, Batch sebaiknya dianggap sebagai kanal upaya terbaik (best-effort).

Fakta Objektif OpenAI Batch API

Aturan Penagihan dan Batas Kecepatan Batch API

Berdasarkan panduan resmi Batch (dokumentasi resmi OpenAI: developers.openai.com/api/docs/guides/batch), Batch API memiliki tiga karakteristik inti:

  1. Diskon biaya: memberikan diskon biaya 50% dibandingkan API sinkron.
  2. Batas kecepatan terpisah: menggunakan kumpulan batas kecepatan tersendiri, tidak berbagi kuota dengan permintaan sinkron.
  3. Jendela pemrosesan: batch diselesaikan dalam jendela 24 jam.

Model dan endpoint apa saja yang didukung mengikuti cakupan yang tercantum dalam dokumentasi resmi. Saat ini tidak bisa dikatakan secara general bahwa “semua model mendukung Batch”.

Format File dan Batas Jumlah Batch API

Butir Aturan Persyaratan Resmi Makna Sebenarnya
Format file JSONL, satu permintaan per baris Satu baris adalah satu tugas mandiri
Penanda permintaan Setiap permintaan memiliki custom_id unik Pengambilan hasil sepenuhnya bergantung pada ini untuk pencocokan
Batasan model Satu file hanya boleh menggunakan satu model Tugas multi-model perlu dipecah menjadi beberapa file
Batas jumlah Maksimal 50.000 permintaan per batch Melebihi batas harus dikirim dalam beberapa batch
Batas ukuran Ukuran file maksimal 200MB per batch Tugas dengan konteks panjang mungkin lebih dulu mencapai batas ukuran
Urutan output Tidak dijamin sama dengan urutan input Tidak bisa mencocokkan hasil berdasarkan nomor baris

Berikut adalah struktur ilustratif satu baris permintaan, untuk menjelaskan posisi custom_id. Endpoint dan parameter spesifik mengikuti daftar dukungan dalam dokumentasi resmi:

{"custom_id": "article-001", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "MODEL_NAME", "messages": [{"role": "user", "content": "为以下主题写一段摘要:..."}]}}

Aturan Kedaluwarsa dan Penagihan Batch API

Jika batch melewati jendela pemrosesan, permintaan yang belum selesai akan dibatalkan. Hasil yang sudah berhasil tetap dapat diunduh, dan penagihan hanya berlaku untuk permintaan yang berhasil.

Dokumentasi juga mengingatkan satu hal: pengiriman berhasil tidak sama dengan pembuatan berhasil. Batch yang diterima hanya berarti telah masuk ke alur pemrosesan, bukan berarti setiap baris akan menghasilkan keluaran. Jendela 24 jam juga bukan janji “naskah diserahkan pada suatu titik besok pagi”.

openai-batch-api-50-percent-discount-24h-window-id-image-1


Analisis dan Pertimbangan OpenAI Batch API

Bagian biaya mana yang dihemat oleh diskon 50%

“Diskon 50%” berlaku untuk biaya pemanggilan model pada pemrosesan Batch itu sendiri. Berikut contoh desain untuk menjelaskannya; angka-angka di sini bukan data hasil pengukuran.

Misalkan sebuah tugas ditagih 100 yuan untuk permintaan sinkron, maka permintaan yang sama melalui Batch secara ilustratif dikenakan biaya 50 yuan. Namun total biaya proyek belum tentu berkurang separuh, karena beberapa jenis biaya tidak otomatis mendapat diskon:

Item biaya Ikut diskon 50% Batch? Keterangan
Biaya pemanggilan model untuk permintaan batch Ya Ilustrasi: permintaan sinkron 100 yuan setara dengan Batch 50 yuan
Pemanggilan alat untuk riset pendahuluan Tidak Misalnya mencari referensi dan melakukan riset sebelum menentukan apa yang akan ditulis
Peninjauan manual Tidak Biaya tenaga kerja tidak bergantung pada metode penagihan
Percobaan ulang tambahan Tidak, perlu dihitung terpisah Menjalankan ulang setelah gagal atau kedaluwarsa akan menghasilkan pemanggilan baru
Pengembangan dan pemeliharaan teknis Tidak Pembuatan file, pencocokan hasil, dan logika pengiriman ulang memerlukan investasi

Jadi, saat menyusun anggaran, terapkan diskon 50% hanya pada “bagian pemanggilan yang bisa diproses secara batch”, dan jangan langsung memotong setengah total anggaran proyek. Jika proporsi riset dan peninjauan dalam sebuah proyek cukup tinggi, penghematan keseluruhan yang dihasilkan Batch akan jelas lebih kecil dari 50%.

Bagaimana memahami jendela 24 jam

Jendela 24 jam menggambarkan batas waktu pemrosesan, bukan jaminan pengiriman. Pendekatan yang lebih aman adalah: perlakukan hasil Batch sebagai output yang “kemungkinan besar tersedia dalam periode jendela, tetapi bisa saja sebagian hilang”, dan sisakan waktu dalam jadwal untuk pengiriman ulang.

Jika pihak bisnis menuntut “semua hasil harus sudah diterima sebelum pukul 9 pagi besok”, maka mengandalkan satu kali pengiriman Batch saja berisiko. Untuk tugas dengan persyaratan waktu yang kaku, Anda bisa mengirim lebih awal, menyisakan jendela untuk pengiriman ulang, atau mengalihkan bagian penting ke permintaan sinkron.

openai-batch-api-50-percent-discount-24h-window-id-image-2

custom_id adalah inti dari desain rekayasa Batch

Karena urutan output tidak dijamin, pengumpulan hasil harus sepenuhnya bergantung pada custom_id. Ini menuntut custom_id sudah memiliki makna bisnis sejak tahap desain dan unik secara global, misalnya “jenis tugas-nomor batch-nomor urut”.

Contoh desain berikut juga bukan hasil pengujian nyata: untuk menghasilkan 20 artikel independen dengan model yang sama, Anda dapat menuliskannya sebagai 20 baris JSONL. Jika pada akhirnya 18 artikel berhasil dan 2 dibatalkan karena kedaluwarsa, Anda hanya perlu mencari 2 yang hilang melalui custom_id lalu mengirimkannya ulang, tanpa harus menjalankan ulang semua 20 artikel. 18 artikel yang berhasil ditagih sebagai permintaan sukses, sedangkan 2 yang dibatalkan tidak ditagih.

Poin-poin kunci dari alur ini dapat dirangkum sebagai berikut:

  1. Validasi apakah custom_id di setiap baris unik sebelum pengiriman.
  2. Setelah hasil terkumpul, kurangi himpunan custom_id input dengan himpunan custom_id output untuk mendapatkan daftar yang hilang.
  3. Buat JSONL baru hanya untuk daftar yang hilang, lalu kirim ulang.
  4. Pengiriman ulang menimbulkan biaya pemanggilan baru yang harus dimasukkan ke anggaran.

Model ganda dan alur dependen harus ditangani secara terpisah

Satu file hanya bisa menggunakan satu model. Jika dalam proyek yang sama ingin model A melakukan klasifikasi dan model B melakukan ringkasan, maka perlu menyiapkan dua file terpisah, masing-masing dikirim dan masing-masing diambil hasilnya.

Yang lebih perlu diperhatikan adalah hubungan dependensi. Jika alurnya adalah “pertama meneliti materi, lalu berdasarkan kesimpulan penelitian menentukan apa yang akan ditulis”, langkah kedua bergantung pada output langkah pertama, maka Batch tidak akan mengatur otomatis kedua langkah tersebut untuk Anda. Anda perlu, setelah hasil batch pertama diambil, membuat program sendiri untuk menghasilkan permintaan batch kedua lalu mengirimkannya. Ini juga berarti total waktu seluruh rantai proses bisa menumpuk dari beberapa jendela pemrosesan.

Tugas apa saja yang cocok untuk OpenAI Batch API

Jenis tugas Cocok untuk Batch Alasan
Klasifikasi batch berdasarkan aturan yang sudah ditetapkan Cocok Aturan tetap, item independen, tidak perlu pengembalian real-time
Pemrosesan basis pengetahuan (ringkasan, pembersihan, strukturisasi) Cocok Volume data besar, bisa diselesaikan offline
Evaluasi model, inferensi batch pada set pengujian Cocok Secara alami bersifat batch, tidak sensitif terhadap waktu
Pembuatan konten batch independen dengan model yang sama Cocok Setiap baris independen, kegagalan bisa dijalankan ulang berdasarkan custom_id
Layanan pelanggan real-time, interaksi percakapan Tidak cocok Pengguna membutuhkan balasan instan, sebaiknya gunakan cara sinkron
Tugas dengan tenggat waktu pengiriman yang ketat Hati-hati Jendela 24 jam tidak menjamin waktu tertentu
Alur multi-langkah yang meneliti dulu lalu menentukan konten Perlu diatur sendiri Batch tidak menangani dependensi antar langkah secara otomatis

Cara sederhana untuk menilai adalah dengan bertanya tiga hal berturut-turut: Apakah hasilnya bisa didapat nanti? Apakah setiap permintaan saling independen? Apakah jumlahnya cukup besar sehingga layak menulis logika file dan pengambilan hasil? Jika ketiga jawabannya adalah “ya”, Batch biasanya menjadi pilihan yang lebih hemat. Selama ada satu jawaban “tidak”, maka perlu memecah tugas terlebih dahulu, atau tetap menggunakan pemanggilan sinkron.

Perubahan yang patut diperhatikan ke depannya

Karena ini adalah dokumen resmi yang terus dipelihara, cakupan model dan endpoint yang didukung, jumlah, serta batas ukuran bisa saja berubah. Penilaian berikut bersifat prediksi: seiring makin banyak model dan endpoint dimasukkan ke Batch, alur kerja evaluasi offline dan pemrosesan data akan lebih sering memakai pemrosesan batch secara default. Saat benar-benar mengintegrasikan, tetap ikuti aturan yang tercantum dalam dokumentasi pada saat itu; jangan langsung memakai angka dari tanggal verifikasi artikel ini.

Nilai Batch API terletak pada kemampuannya membuat kita berpikir jernih tentang hal-hal apa yang bisa ditunggu. Tugas yang bersedia menunggu ditukar dengan harga separuh dan kuota batas laju yang tidak terganggu; tugas yang harus segera direspons tetap diserahkan ke permintaan sinkron.

“Jangan ingin cepat, jangan melihat keuntungan kecil. Ingin cepat justru tidak akan sampai; melihat keuntungan kecil membuat hal besar tidak terwujud.” —《Analek Konfusius·Zilu》

Tinggalkan komentar