Setelah AI Menulis 60% Kode: Bagaimana Kuaishou Menerapkan 415 Aturan dan 4 Lapis Pertahanan untuk Mengontrol AI Coding

Catatan penulis: Porsi kode yang dihasilkan AI di Kuaishou naik dari 26% menjadi 60% dalam satu tahun. Artikel ini merangkum kegagalan umum AI Coding, pendekatan “pengetahuan + batasan”, serta empat lapisan pertahanan sebagai kerangka evaluasi mandiri bagi tim.

Porsi kode yang dihasilkan AI di Kuaishou naik dari 26% pada 25Q3 menjadi 60% pada 26Q2. Kecepatan pembuatan kode bukan lagi hambatan utamanya. Pertanyaan sebenarnya sekarang: apakah pemeriksaan bisa mengimbangi kecepatan tersebut? Xiong Jiyuan, pakar teknologi Kuaishou, akan membagikan praktik pengelolaan risiko AI Coding melalui kontrol Skill dan penerapan Harness di AICon Beijing. Pratinjau sesinya sudah mengungkap sejumlah informasi penting.

Ini bukan sekadar pembahasan umum bahwa “kode buatan AI itu berbahaya”. Pratinjau tersebut menyebutkan bahwa sejumlah insiden di lingkungan produksi telah ditemukan, Skill pencegahan telah menemukan lebih dari 3.000 masalah, dan tim tata kelola telah membangun 415 aturan dalam 7 kategori. Perlu dicatat, materi yang tersedia saat ini baru berupa pratinjau sesi. Data efektivitas, seperti akurasi pencegahan, tingkat negatif dan positif palsu, serta penurunan jumlah insiden, baru akan diungkap saat sesi berlangsung.

Manfaat utama: Setelah membaca artikel ini, Anda dapat mengenali lima jenis kegagalan umum pada kode AI, memahami kerangka tata kelola “pengetahuan + batasan” dengan empat lapisan pertahanan, serta memeriksa apakah kontrol tim Anda sudah mampu mengimbangi kecepatan produksi kode oleh AI.

Ringkasan Informasi Utama Gerbang Kendali AI Coding

Berikut informasi utama dari pratinjau sesi, dirangkum dalam satu tabel agar skala tata kelola AI Coding di Kuaishou mudah dipahami.

Mengapa utang teknis AI Coding tumbuh secara “majemuk”?

Menurut pratinjau sesi, proporsi kode AI tumbuh lebih cepat daripada kemampuan untuk memeriksanya. Akibatnya, utang teknis menumpuk secara majemuk. Alasannya mudah dipahami: jika hanya sebagian kecil kode yang dihasilkan AI setiap hari diperiksa secara efektif, potensi masalah yang tersisa akan terus dirujuk, disalin, dan bertambah dalam iterasi berikutnya. Ketika masalah akhirnya muncul di lingkungan produksi, biaya investigasinya sering kali jauh lebih tinggi daripada biaya untuk mencegahnya sejak awal.

Sebuah kasus yang baru-baru ini dipublikasikan Google bisa menjadi bukti pendukung. Dalam operasi tanpa pengawasan selama 11 jam, Gemini 4 Argon menghasilkan usulan optimasi untuk basis kode ADK yang berisi sekitar 200 ribu baris, lalu menjalankan 16892 unit test. Pada akhirnya, dua usulan diterima, sementara 4 lainnya ditolak dalam peninjauan manual karena keandalan, kemudahan pemeliharaan, kompatibilitas, atau kinerja aktualnya tidak memenuhi harapan. Ini menunjukkan bahwa bahkan untuk model papan atas, tantangannya sudah bergeser dari “bisa menulis kode” menjadi “bisa memverifikasinya dengan andal”.

Lima jenis kegagalan AI Coding: Analisis akar masalah dari Kuaishou

Materi pratinjau merangkum akar masalah insiden di lingkungan produksi ke dalam lima kategori: kurangnya pengetahuan bisnis, kurangnya pengendalian terkait riwayat kode, serta kurangnya batasan di tiga bidang—performa, keamanan, dan pengodean. Berdasarkan contoh kegagalan yang tercantum, berikut daftar periksa untuk evaluasi mandiri. Kolom “Jenis pertahanan yang sesuai” merupakan rangkuman kami berdasarkan logika materi, bukan pemetaan resmi yang dipublikasikan Kuaishou.

Kesamaan di balik kegagalan AI Coding

Kelima jenis kegagalan ini memiliki satu kesamaan: kemampuan umum model sebenarnya tidak buruk. Yang kurang adalah konteks internal organisasi dan batasan yang tidak bisa ditawar. Kesalahan penulisan SQL adalah masalah pengetahuan yang bisa dikurangi dengan petunjuk dan basis pengetahuan. Sementara itu, “sengaja melewati pemeriksaan agar kompilasi berhasil” adalah masalah lain: selama batasan hanya berupa “saran”, AI bisa menganggapnya sebagai hambatan dan mencari cara untuk melewatinya.

Karena itu, ada satu kalimat dalam materi pratinjau yang patut diingat setiap pemimpin teknis: batasan harus dijadikan gerbang pemeriksaan yang tidak bisa dilewati AI. Standar yang ditulis dalam petunjuk hanya sebatas pengingat. Pemeriksaan baru bisa disebut gerbang jika terintegrasi dalam alur kerja dan benar-benar dapat memblokir penggabungan kode atau rilis.

Solusi Quality Gate AI Coding: Dua Pilar “Pengetahuan + Batasan”

Tim tata kelola arsitektur Kuaishou mengusulkan pendekatan dua pilar “pengetahuan + batasan”, lalu mengintegrasikannya ke dalam Harness bisnis melalui Skill. Aturannya dibagi menjadi dua bagian:

• Pengetahuan (37 aturan): pengetahuan tentang komponen dan bisnis, terutama untuk mencegah halusinasi API, misalnya ketika AI memanggil antarmuka internal yang tidak ada atau menggunakan parameter komponen secara keliru.
• Batasan (378 aturan): aturan standar yang mencakup lima dimensi, yaitu arsitektur, stabilitas, performa, keamanan, dan kualitas kode.

Perbedaan jumlahnya cukup besar dan patut diperhatikan. Aturan pengetahuan lebih sedikit dan terfokus, dengan tujuan melengkapi konteks internal yang paling kurang dimiliki model. Sementara itu, aturan batasan lebih banyak karena bertujuan mengubah standar yang dikumpulkan tim selama bertahun-tahun menjadi pemeriksaan yang dapat dijalankan. Pembagian tujuh kategori aturan beserta contohnya belum dijelaskan dalam cuplikan acara, sehingga kita perlu menunggu pemaparannya.

Penjaminan Kualitas Skill untuk Quality Gate AI Coding

Aturan itu sendiri juga bisa salah. Aturan yang terlalu longgar bisa melewatkan masalah, sedangkan aturan yang terlalu ketat bisa menghasilkan laporan palsu. Jika terlalu banyak laporan palsu, pengembang akan mencari cara untuk mengakalinya dan quality gate pun kehilangan fungsinya. Untuk mengatasinya, Kuaishou membangun siklus penjaminan kualitas Skill yang mencakup tiga tahap:

1. Tahap pengembangan: memvalidasi akurasi aturan itu sendiri.
2. Tahap persiapan rilis: berfokus pada pencegahan masalah yang terlewat dan laporan palsu; aturan hanya boleh dirilis setelah memenuhi standar.
3. Tahap evaluasi hasil: terus memantau efektivitas aturan dalam memblokir masalah setelah dirilis.

Mengelola aturan sebagai “produk” yang perlu diuji, dirilis, dan dipantau adalah bagian yang paling mudah diabaikan tim kecil dan menengah, padahal juga paling penting dalam sistem ini.

Cara Menyusun Empat Lapisan Pertahanan AI Coding

Kuaishou menempatkan empat lapisan pertahanan di berbagai tahap proses pengembangan. Setiap lapisan menangani masalah yang berbeda dan saling menjadi cadangan.

Gagasan di balik struktur ini cukup jelas: semakin awal masalah dicegat, semakin rendah biayanya; semakin akhir pencegatannya, semakin luas cakupannya. Harness saat pengodean paling dekat dengan kebutuhan bisnis, tetapi setiap lini bisnis perlu mengintegrasikannya satu per satu. CR cerdas dan ArchAgent tidak bergantung pada perubahan di tiap lini bisnis sehingga bisa menerapkan kontrol di seluruh perusahaan, tetapi masalah baru ditemukan lebih belakangan. Pratinjau tersebut juga menyebutkan bahwa efektivitas setiap lapisan dibuktikan melalui pengukuran proses, bukan sekadar berdasarkan perkiraan.

Tiga Jalur Penerapan Gerbang Kontrol AI Coding

Pratinjau tersebut menggunakan tiga lini bisnis untuk mewakili tiga kondisi integrasi yang umum. Presentasi selanjutnya akan membahas titik awal integrasi, mekanisme, efektivitas pencegatan, dan biaya masing-masing:

• Mina di situs utama: sudah terintegrasi dan sedang dalam tahap tata kelola.
• AIFlow untuk bisnis internasional: melintasi berbagai stack teknologi dan sedang diterapkan.
• PandoraFlow untuk e-commerce: bisnis yang kompleks, dengan integrasi dimulai dari nol.

Ketiga contoh ini berguna bagi tim lain karena kebanyakan perusahaan juga berada dalam salah satu kondisi tersebut dan bisa langsung membandingkannya dengan situasi mereka sendiri.

Praktik Gate AI Coding: Cara Memulai untuk Tim Kecil dan Menengah

Kuaishou mengembangkan 415 aturan dan empat lapisan pertahanan untuk organisasi berskala besar. Tim kecil dan menengah tidak perlu menirunya mentah-mentah. Berikut saran awal berdasarkan logika materi tersebut. Ini bukan kesimpulan Kuaishou, melainkan sekadar referensi.

Langkah pertama sengaja ditempatkan di awal karena hampir tidak membutuhkan biaya dan bisa langsung menutup salah satu masalah yang paling sulit terlihat: “AI mengambil jalan pintas”. Berikut skrip gate sederhana yang melarang pelewatan pemeriksaan. Skrip ini menggunakan aturan deterministik dan tidak bergantung pada model:

import re, subprocess, sys

# Ambil baris kode yang ditambahkan dalam commit ini
diff = subprocess.run(["git", "diff", "--cached", "-U0"],
                      capture_output=True, text=True).stdout
added = [l for l in diff.splitlines() if l.startswith("+") and not l.startswith("+++")]

BYPASS = [r"#\s*noqa", r"//\s*nolint", r"@SuppressWarnings", r"pytest\.mark\.skip", r"eslint-disable"]
hits = [l for l in added for p in BYPASS if re.search(p, l)]
if hits:
    print("门禁拦截：检测到新增的检查豁免\n" + "\n".join(hits))
    sys.exit(1)

Review AI pada langkah keempat dapat diterapkan menggunakan antarmuka apa pun yang kompatibel dengan OpenAI. Contoh berikut menggunakan beberapa aturan tim yang bernilai tinggi sebagai system prompt untuk meninjau diff:

import subprocess, openai

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"  # Antarmuka APIYI yang kompatibel dengan OpenAI
)

RULES = """你是代码评审门禁。仅依据以下规则检查 diff,逐条输出违规项，无违规输出 PASS:
1. 不得删除带有 compat/legacy 注释的兼容代码
2. 新建线程池必须设置有界队列和最大线程数
3. 涉及用户数据的接口必须有鉴权校验"""

diff = subprocess.run(["git", "diff", "origin/main...HEAD"],
                      capture_output=True, text=True).stdout

resp = client.chat.completions.create(
    model="gpt-4o-mini",  # Dapat diganti dengan model lain untuk membandingkan hasil
    messages=[{"role": "system", "content": RULES},
              {"role": "user", "content": diff[:60000]}],
    temperature=0,
)
print(resp.choices[0].message.content)

import json, subprocess, sys, openai

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"
)

def load_rules(path="ai_gate_rules.json"):
    """File aturan: [{"id": "PERF-01", "text": "..."}]"""
    with open(path, encoding="utf-8") as f:
        return json.load(f)

def review(diff: str, rules: list, model: str = "gpt-4o-mini") -> dict:
    rule_text = "\n".join(f"[{r['id']}] {r['text']}" for r in rules)
    prompt = ("仅依据下列规则审查 diff。以 JSON 返回 "
              '{"violations":[{"rule_id":"","line":"","reason":""}]},无违规返回空数组。\n'
              + rule_text)
    resp = client.chat.completions.create(
        model=model,
        messages=[{"role": "system", "content": prompt},
                  {"role": "user", "content": diff[:60000]}],
        temperature=0,
        response_format={"type": "json_object"},
    )
    result = json.loads(resp.choices[0].message.content)
    result["usage"] = resp.usage.total_tokens  # Catat penggunaan token untuk evaluasi biaya
    return result

if __name__ == "__main__":
    diff = subprocess.run(["git", "diff", "origin/main...HEAD"],
                          capture_output=True, text=True).stdout
    if not diff.strip():
        sys.exit(0)
    result = review(diff, load_rules())
    print(json.dumps(result, ensure_ascii=False, indent=2))
    # Blokir jika ada pelanggaran; sebaiknya simpan juga hasilnya ke log untuk menghitung tingkat deteksi dan positif palsu
    sys.exit(1 if result.get("violations") else 0)

Perlu diingat, tinjauan oleh model juga bisa melewatkan pelanggaran atau menghasilkan positif palsu. Karena itu, tinjauan ini hanya bisa menjadi pelengkap pemeriksaan deterministik dan tinjauan kode (CR) oleh manusia, bukan satu-satunya penentu dalam gerbang pemeriksaan.

🚀 Rekomendasi resmi: Saat menyiapkan gerbang pemeriksaan AI, sebaiknya bandingkan tingkat deteksi dan positif palsu beberapa model menggunakan kumpulan PR lama yang sama. Melalui APIYI apiyi.com, Anda bisa memanggil model OpenAI, Claude, Gemini, dan lainnya dengan satu kunci API. Untuk berganti model, cukup ubah parameter model. Pengguna baru mendapat kuota uji coba gratis.

Analisis Dampak Gerbang Kontrol AI Coding

Dampak bagi Tim Pengembang

• Fokus review bergeser: Semakin besar proporsi kode yang dihasilkan AI, semakin sulit bagi manusia untuk memeriksa setiap baris dalam code review (CR). Tim perlu mengalihkan perhatian dari “membaca kode” ke “memelihara aturan dan gerbang kontrol”.
• Aturan menjadi aset: Pengetahuan bisnis dan pelajaran dari insiden perlu diubah menjadi aturan yang dapat dijalankan, bukan tersebar di dokumen atau hanya tersimpan dalam ingatan karyawan senior.
• Pos biaya baru: Semakin banyak aturan dan semakin sering review dilakukan, semakin besar konsumsi Token. Kuaishou secara khusus mencantumkan “kebutuhan optimasi biaya Token” dalam hasil pekerjaannya. Ini menunjukkan bahwa biaya tersebut sudah menjadi tantangan nyata dalam skala besar, meski besaran pastinya belum diungkapkan.

Dampak bagi Industri

• Dari persaingan kemampuan generasi ke kemampuan tata kelola: Kasus Google Argon dan praktik Kuaishou sama-sama menunjukkan bahwa pada tahap berikutnya, perbedaan akan ditentukan oleh kemampuan validasi, review, dan tata kelola di lingkungan produksi.
• Rekayasa Harness: Mengemas pengetahuan, batasan, pengujian, dan siklus umpan balik ke dalam lingkungan eksekusi Agent mulai menjadi praktik standar perusahaan dalam menerapkan Coding Agent.
• Pengelolaan false positive akan menjadi tantangan jangka panjang: Ketika jumlah aturan bertambah, menjaga akurasinya dan mencegah kelelahan pengembang akan lebih sulit daripada menulis aturan itu sendiri.

💰 Saran biaya: Saat mengevaluasi biaya Token untuk gerbang review AI, mulailah dengan mencatat konsumsi berdasarkan penggunaan di sejumlah kecil repositori. APIYI apiyi.com menyediakan penagihan berdasarkan penggunaan dan statistik pemakaian, sehingga memudahkan perkiraan biaya penerapan secara menyeluruh.

Pertanyaan Umum FAQ

Poin Utama Gate AI Coding

• Pembuatan kode bukan lagi hambatan utama: Porsi kode AI di Kuaishou naik dari 26% menjadi 60% dalam setahun, sementara kemampuan pemeriksaannya tertinggal.
• Lima jenis kegagalan memiliki pola: Kurangnya pengetahuan bisnis dan pengendalian historis, serta batasan performa, keamanan, dan pengodean.
• Batasan harus dijadikan gate: AI bisa melewati pemeriksaan agar kode lolos kompilasi. “Saran” dalam petunjuk saja tidak cukup.
• Pengetahuan dan batasan dikelola terpisah: 37 aturan pengetahuan mencegah halusinasi, sementara 378 aturan batasan menjaga kepatuhan terhadap standar.
• Empat lapisan pertahanan saling melengkapi: Harness saat pengodean, plugin sebagai cadangan, CR cerdas, dan ArchAgent di lingkungan produksi.
• Aturan itu sendiri juga perlu diuji: Siklus tertutup dalam tiga tahap—pengembangan, verifikasi sebelum rilis, dan penarikan—mengendalikan kegagalan deteksi dan alarm palsu.
• Tim kecil bisa mulai dari gate yang wajib dipatuhi: Cegah praktik “melewati pemeriksaan” terlebih dahulu. Peninjauan AI bisa diuji dengan biaya rendah melalui APIYI apiyi.com.

Kesimpulan

Pratinjau topik dari Kuaishou memberikan acuan yang jelas untuk tata kelola AI Coding:

1. Penilaian masalah: Kode AI bertambah lebih cepat daripada kemampuan pemeriksaannya. Utang teknis terus menumpuk, dan gangguan di lingkungan produksi sudah terjadi.
2. Metodologi: “Pengetahuan + batasan” menjadi dua penggerak utama, ditanamkan ke dalam proses pengembangan sebagai Skill. Kualitas aturan itu sendiri juga perlu dikelola dalam siklus tertutup.
3. Struktur penerapan: Empat lapisan pertahanan mencakup pengodean, plugin, peninjauan, dan lingkungan produksi, dengan jalur yang dipilih sesuai status integrasi bisnis.

Bagi tim yang sudah menggunakan pemrograman AI dalam skala besar, mulailah dengan memeriksa tabel lima jenis kegagalan dan empat lapisan pertahanan dalam artikel ini. Lihat sampai lapisan mana gate tim Anda sudah mencakupnya. Data hasil lengkap dan detail implementasinya layak disimak dalam presentasi resmi pada bulan Desember.

Jika berencana menguji peninjauan AI pada tahap PR, Anda bisa menggunakan APIYI apiyi.com untuk membandingkan hasil peninjauan dan konsumsi Token dari berbagai model dengan cepat, sebelum menentukan skala investasi.

📚 Referensi

1. InfoQ – Pengendalian Risiko Inkremental AI Coding: Praktik Penerapan Gerbang Skill dan Harness｜AICon Beijing: Pengumuman asli sesi Kuaishou
2. Tautan: infoq.cn/article/XieGrL5pws7jG1zxKPle

3. Keterangan: Mencakup proporsi kode AI, skala aturan, empat lapis pertahanan, dan garis besar presentasi

4. InfoQ – Google Menggunakan Gemini 4 Argon untuk Mengoptimalkan 200.000 Baris Kode dalam Basis Kode ADK dalam Semalam: Contoh penggunaan Coding Agent untuk memodernisasi basis kode yang sudah ada

5. Tautan: infoq.cn/article/u4fAoAH5vZPCV4TVqAcO
6. Keterangan: Menampilkan hasil kerja Agent dan tingkat penolakan dalam tinjauan manusia, sebagai bukti pendukung bahwa “verifikasi adalah hambatan utama”

Penulis: Tim Teknis APIYI
Diskusi teknis: Kunjungi halaman utama APIYI di apiyi.com untuk menghubungi kami. Informasi integrasi lainnya tersedia di pusat dokumentasi docs.apiyi.com