8 Trilion Token Sehari: Mengapa Ejen AI Mengubah Ekonomi Model

Angka 8 trilion token dalam sehari yang dilaporkan untuk DeepSeek V4 Flash di OpenCode bukan sekadar petanda sebuah model sedang popular. Ia menunjukkan unit asas kerja AI sedang berubah: daripada satu soalan dan satu jawapan kepada gelung ejen yang membaca repositori, merancang kerja, menyunting fail, menjalankan program, meneliti ralat, kemudian mencuba lagi.

OpenCode melaporkan DeepSeek V4 Flash memproses 8 trilion token pada 1 Ogos, terdiri daripada 5 trilion token percubaan percuma dan 3 trilion melalui tawaran berbayar Go. Secara berasingan, kedudukan mingguan OpenRouter bagi 27 Julai hingga 2 Ogos meletakkan V4 Flash pada 7.22 trilion token sepanjang minggu di platform itu. Angka ini ialah laporan platform, bukannya ukuran penggunaan semua model secara bebas yang telah diaudit; namun perbandingan tersebut menggambarkan skala yang boleh dicapai aliran kerja berasaskan ejen. 202329

Mengapa kerja ejen menggunakan begitu banyak token

Permintaan chatbot sekali jalan lazimnya mempunyai arahan ringkas dan jawapan yang terhad. Ejen pengekodan pula membawa set kerja jauh lebih besar: fail sumber, output terminal, kegagalan ujian, keputusan terdahulu, tampalan kod yang dijana dan panggilan alat berulang kali. Semasa cuba menyelesaikan sesuatu tugasan, ejen mungkin perlu kembali kepada sebahagian besar konteks itu berkali-kali.

Data yang diterbitkan OpenCode untuk V4 Flash menunjukkan purata sekitar 12 juta token bagi satu sesi dan nisbah cache input 95%. Angka ini tidak membuktikan setiap sesi ialah tugas pengekodan autonomi sepenuhnya, tetapi ia selari dengan kerja konteks panjang yang berulang—bukan sembang ringkas biasa. 25

Perbezaan ini penting kerana pengguna tidak menilai jumlah token yang terhasil. Nilainya terletak pada pull request yang diterima, set ujian yang lulus, prototaip yang berfungsi atau aliran kerja yang disiapkan dengan betul. Maka, ukuran yang lebih praktikal ialah:

Kos bagi setiap tugas yang diterima = jumlah kos model dan gelung alat ÷ kebarangkalian tugas memenuhi standard yang diperlukan.

Pengiraan itu perlu mengambil kira percubaan gagal, ulangan, semakan manusia, kelewatan serta kos membetulkan kesilapan—bukan kadar harga token input dan output yang dipaparkan semata-mata.

Harga token rendah membolehkan lebih banyak percubaan

Laporan mengenai V4 Flash menyebut harga pihak pertama sebanyak AS$0.14 bagi sejuta token input dan AS$0.28 bagi sejuta token output. 12 Pada kadar ini, pembangun boleh membiayai lebih banyak iterasi, menyimpan lebih banyak konteks dan menjalankan lebih banyak ujian automatik berbanding model yang jauh lebih mahal.

Maksudnya bukan model murah sentiasa lebih baik. Sebaliknya, jurang kualiti kecil boleh diatasi oleh jurang kos yang besar apabila ejen perlu melalui banyak giliran untuk menyiapkan kerja rutin.

Sebagai contoh, satu perbandingan melaporkan skor 50 bagi V4 Flash Max dan 56 bagi Claude Opus 4.8 Max dalam Artificial Analysis Intelligence Index v4.1. Namun, kos menjalankan set penilaian penuh yang dilaporkan ialah AS$72.02 berbanding AS$3,752.55. Jurang kosnya besar walaupun beza skor hanya enam mata—tetapi ini perbandingan penilaian, bukannya jaminan kebolehpercayaan yang sama dalam kerja sebenar. 16

Untuk tugasan sukar atau berimpak tinggi, model premium masih mungkin lebih murah bagi setiap hasil yang diterima jika ia dapat mengurangkan kegagalan penggunaan, keperluan penyeliaan atau kerja semula dengan ketara. Kesimpulannya bukan “gunakan model termurah untuk semuanya”, tetapi padankan model dengan kos penuh bagi mencapai hasil yang boleh diterima.

“Garis bunuh” paling menekan segmen pertengahan

Istilah “DeepSeek kill line” lebih tepat difahami sebagai metafora pasaran. Ia merujuk kepada tekanan terhadap model yang jauh lebih mahal daripada alternatif kos rendah yang hampir setanding di barisan hadapan, tetapi tidak menghasilkan keputusan tugas yang jelas lebih baik.

Tiga lapisan pasaran bertindak balas secara berbeza:

• Model penghalaan murah kekal berguna untuk pengelasan, pengekstrakan, transformasi ringkas dan triage berskala besar—situasi yang lebih mengutamakan kelajuan serta kos unit serendah mungkin berbanding penaakulan maju.
• Model perdana premium masih ada tempat untuk tugas paling sukar: penaakulan jangka panjang, kebolehpercayaan luar biasa, kerja multimodal, keperluan tadbir urus dan keadaan apabila kos semakan manusia tinggi.
• Model peringkat pertengahan berdepan ujian paling besar. Jika harganya jauh lebih tinggi daripada Flash, ia perlu membuktikan kadar penyelesaian, kependaman, penggunaan alat, integrasi, sokongan atau kawalan perusahaan yang lebih baik—bukan hanya sedikit kelebihan pada penanda aras.

Ringkasnya, model ejen kos rendah boleh menjadi pekerja lalai, manakala model premium menjadi pakar untuk kes yang perlu dinaikkan tahap. Segmen tengah perlu membuktikan bahawa ia benar-benar merendahkan jumlah kos tugasan.

Mengapa V4 Flash boleh menyasarkan ekonomi pada skala ejen

DeepSeek V4 Flash ialah model mixture-of-experts (MoE) dengan 284 bilion parameter keseluruhan, tetapi kira-kira 13 bilion parameter diaktifkan bagi setiap token, dan menyokong tetingkap konteks satu juta token. 17 Reka bentuk ini memisahkan kapasiti model yang besar daripada jumlah pengiraan yang digunakan untuk setiap token yang dijana.

Strategi kecekapannya merangkumi beberapa komponen:

• Penghalaan mixture-of-experts: Hanya sebahagian pakar diaktifkan bagi satu token, lalu mengurangkan pengiraan aktif berbanding model padat yang menjalankan semua parameter. 17
• Perhatian hibrid: Keluarga V4 menggabungkan Compressed Sparse Attention (CSA) dan Heavily Compressed Attention (HCA), yang direka bagi mengurangkan beban perhatian dan memori untuk konteks sangat panjang. 1733
• Beban cache lebih rendah: NVIDIA menyatakan inovasi perhatian keluarga V4 menyasarkan pengurangan 73% dalam FLOPs inferens bagi setiap token serta 90% dalam beban memori cache KV berbanding DeepSeek-V3.2 dalam perbandingan yang dirujuk. 33
• Aliran kerja peka cache: Dalam sesi ejen yang berulang kali menghantar konteks repositori dan alat yang bertindih, penggunaan semula cache boleh memberi kesan besar kepada kos sebenar. Nisbah cache 95% yang dilaporkan OpenCode menunjukkan mengapa butiran operasi ini penting. 25

Ini bukan sekadar spesifikasi teknikal. Ia menentukan sama ada secara kewangan munasabah untuk membenarkan ejen meneliti pangkalan kod besar, menjalankan alat dan pulih daripada kesilapan beberapa kali sebelum menghasilkan jawapan.

Barisan hadapan baharu: keupayaan, kebolehpercayaan dan kos iterasi

Kecerdasan pada penanda aras masih penting, tetapi ia bukan satu-satunya ukuran utama untuk ejen. Perbandingan yang lebih berguna melibatkan tiga perkara:

1. Keupayaan: Bolehkah model menyelesaikan kelas tugasan tersebut?
2. Kebolehpercayaan: Berapa kerap ia memberi hasil yang boleh diterima tanpa campur tangan mahal?
3. Kos iterasi marginal: Sejauh mana mampu dibiayai satu lagi panggilan alat, semakan, ujian atau percubaan pemulihan?

Laporan 8 trilion token sehari menjadikan faktor ketiga itu lebih jelas. Apabila ejen menggantikan pertanyaan sekali jalan, penggunaan token boleh meningkat beberapa peringkat magnitud. Model yang menjadikan konteks panjang dan percubaan semula murah berpotensi menjadi pilihan lalai untuk beban kerja ejen yang luas dan berulang—walaupun model perdana yang lebih berkeupayaan kekal pilihan terbaik bagi kes paling sukar. 202533