JawabanDipublikasikan15 sumber
DeepSeek-V4-Flash Kalahkan Claude Opus 4.8 di Lima Benchmark Agen—Namun Harness yang Jadi Pembeda
Floatboat melaporkan model DeepSeek V4 Flash yang sama mengungguli perbandingan Claude Opus 4.8 di lima benchmark agen setelah hanya harness eksekusinya yang diubah. Dengan rasio input output 3:1, biaya token API gabungan yang dilaporkan mencapai $0,175 per juta token untuk DeepSeek dan $10 untuk Opus—sekitar 57,1 k...
Diterbitkan olehDiedit dengan GPT-5.6 LunaGambar dibuat dengan GPT Image 1.5
Jawaban penelitian
Poin-poin penting
- Floatboat melaporkan model DeepSeek V4 Flash yang sama mengungguli perbandingan Claude Opus 4.8 di lima benchmark agen setelah hanya harness eksekusinya yang diubah.
- Dengan rasio input output 3:1, biaya token API gabungan yang dilaporkan mencapai $0,175 per juta token untuk DeepSeek dan $10 untuk Opus—sekitar 57,1 kali lebih mahal bagi Opus.
- Keunggulan harness dilaporkan meningkat dari 1,9% pada tugas berdurasi pendek menjadi 23,6% pada tugas terpanjang, menegaskan pentingnya memori, penggunaan alat, verifikasi, dan pemulihan dalam pekerjaan agen yang pan...
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Hasil benchmark Floatboat pada 7 Agustus lebih tepat dibaca sebagai eksperimen terkontrol dari satu vendor, bukan bukti bahwa DeepSeek-V4-Flash secara inheren lebih cakap daripada Claude Opus 4.8. Modelnya dipertahankan tetap sama, sementara sistem yang menjalankan model tersebut diganti. Menurut Floatboat, perubahan itu cukup untuk membawa model berbiaya rendah tersebut melampaui perbandingan publik Claude Opus 4.8 di lima benchmark agen. 3
Kesimpulan yang lebih hati-hati sekaligus lebih berguna adalah: dalam tugas agen yang berlangsung lama, sistem di sekitar model bisa berkontribusi sama besar—atau bahkan lebih besar—terhadap keberhasilan daripada peningkatan model itu sendiri. Namun, kesimpulan ini masih bersifat indikatif karena eksperimennya belum diuji ulang secara independen.
Apa yang diubah Floatboat?
Floatboat mengatakan bahwa mereka menggunakan rilis resmi DeepSeek-V4-Flash-0731, dengan input dan parameter yang sama. Perbedaannya terletak pada harness: harness resmi DeepSeek yang minimal dibandingkan dengan harness evaluasi milik Floatboat. 3
Harness Floatboat menggunakan sandbox fisik yang terisolasi dan menyediakan alur kerja yang lebih persisten, termasuk akses ke ruang kerja dan berkas, alat, penyimpanan status, serta kesempatan untuk memeriksa hasil, memperbaiki kesalahan, dan melanjutkan pekerjaan.
Perbedaan ini penting karena agen tidak menyelesaikan tugas hanya dengan menghasilkan satu jawaban yang bagus. Agen perlu berulang kali bertindak di dalam lingkungan, mengamati hasilnya, memperbarui rencana, dan memastikan pekerjaan yang sudah benar tidak ikut rusak.
Lima skor yang dilaporkan
Dalam harness Floatboat, DeepSeek-V4-Flash dilaporkan meraih skor berikut:
- BrowseComp: 87,80
- DeepSWE: 67,25
- Terminal Bench 2.1: 84,26
- AutomationBench: 27,50
- Toolathlon: 79,62
Floatboat menyatakan bahwa kelima skor tersebut melampaui perbandingan Claude Opus 4.8 yang dipublikasikan. 3
Tetapi judul “menang lima-nol” perlu diberi catatan. Perbandingan benchmark publik dapat menggabungkan skor yang diperoleh dengan harness, prompt, konfigurasi alat, pengaturan sampling, dan prosedur evaluasi yang berbeda.
Bagian eksperimen Floatboat yang paling informatif adalah perbandingan dengan model yang sama dan hanya harness yang diubah. Meski begitu, hasil tersebut tetap merupakan laporan perusahaan, bukan konsensus industri atau hasil replikasi pihak ketiga.
Selisih biaya besar, tetapi baru pada level token API
Harga DeepSeek yang dilaporkan adalah $0,14 per juta token input dan $0,28 per juta token output. Dengan rasio input-output 3:1, biaya gabungannya menjadi:
(3 × $0,14 + $0,28) ÷ 4 = $0,175 per juta token
Floatboat menggunakan harga Claude Opus 4.8 sebesar $5 per juta token input dan $25 per juta token output. Dengan rasio yang sama:
(3 × $5 + $25) ÷ 4 = $10 per juta token
Dengan demikian, perbandingan harga token API gabungan menunjukkan bahwa Opus sekitar 57,1 kali lebih mahal daripada DeepSeek. 3
Namun, angka ini bukan berarti setiap tugas yang selesai menggunakan Opus pasti menelan biaya 57,1 kali lipat. Perhitungan tersebut belum memasukkan biaya alat, komputasi, caching, konteks panjang, percobaan ulang, rekayasa sistem, maupun biaya pengoperasian harness. Ini adalah perbandingan harga token model, bukan analisis total biaya kepemilikan.
Mengapa keunggulan makin besar pada tugas yang panjang?
Floatboat melaporkan peningkatan relatif sebesar 1,9%, 9,6%, 12,6%, 19,9%, dan 23,6% ketika lima benchmark diurutkan dari tugas dengan cakupan paling pendek hingga pekerjaan dengan horizon paling panjang. Perusahaan menyajikan urutan tersebut sebagai pola yang tidak menurun: harness berpengaruh lebih kecil pada tugas yang terbatas, tetapi semakin penting ketika jumlah langkah yang saling bergantung bertambah. 3
Dalam tugas jangka panjang, agen dapat gagal meski setiap keputusan lokalnya tampak masuk akal. Agen mungkin harus:
- menemukan dan mengedit berkas yang tepat;
- memanggil alat berkali-kali dan memahami hasilnya;
- mempertahankan rencana, status, serta artefak sementara;
- menguji perubahan dan mendiagnosis kegagalan;
- memulihkan diri setelah melakukan tindakan yang keliru; dan
- membatalkan perubahan sebelum merusak pekerjaan berikutnya.
Alur eksekusi yang lemah dapat mengubah penalaran yang sebenarnya benar menjadi konteks yang hilang, pemanggilan alat yang tidak valid, penghentian terlalu dini, atau perubahan yang tidak bisa dipulihkan.
Model yang lebih kuat memang dapat memperbaiki keputusan-keputusan lokal. Namun, model itu tetap akan kesulitan jika lingkungannya tidak menyimpan status, tidak memberikan umpan balik yang berguna, atau tidak menyediakan cara aman untuk memulihkan kesalahan.
Di sinilah hasil Floatboat relevan di luar perbandingan dua model. Pertanyaan pentingnya bukan lagi sekadar “model mana yang paling pintar?”, melainkan “kombinasi model dan runtime mana yang paling konsisten menyelesaikan tugas?”
Apa itu Harness Leverage Ratio?
Floatboat memperkenalkan Harness Leverage Ratio (HLR) untuk membandingkan manfaat mengganti harness dengan manfaat meningkatkan model:
HLR = peningkatan dari mengganti harness saja
───────────────────────────────────────
peningkatan dari beralih ke sistem referensi yang lebih kuat
HLR di atas 1 berarti, dalam benchmark dan perbandingan yang dipilih, perubahan harness menghasilkan kenaikan skor yang lebih besar daripada peningkatan ke sistem referensi yang lebih kuat. HLR bukan metrik standar industri. Nilainya bergantung pada baseline, model referensi, versi benchmark, serta kendali evaluasi yang digunakan. 2
4
Pada DeepSWE, Floatboat melaporkan skor DeepSeek-V4-Flash naik dari 54,4 dalam harness DeepSeek menjadi 67,25 dalam harness Floatboat—peningkatan 12,85 poin. Hasil Claude Opus 4.8 yang dikutip adalah 58,0, atau 3,6 poin di atas baseline DeepSeek. Perbandingan tersebut menghasilkan HLR sekitar 3,57. 3
Floatboat juga melaporkan bahwa HLR meningkat dari 0,78 pada tugas terpendek menjadi 3,57 pada tugas terpanjang. Jika pola ini dapat direplikasi, hasilnya akan mendukung gagasan bahwa perbaikan runtime menjadi semakin bernilai ketika tugas membutuhkan lebih banyak status, pemanggilan alat, dan pemulihan.
Namun, angka tersebut tidak boleh diperlakukan sebagai hukum universal. Mengganti sistem referensi, prompt, anggaran token, alat, atau prosedur evaluasi dapat mengubah hasil HLR secara signifikan.
Selaras dengan tesis produk Floatboat
Benchmark ini sejalan dengan positioning Floatboat sebagai lingkungan kerja yang dirancang untuk agen AI dan pengguna solo. Deskripsi publiknya mencakup ruang kerja untuk berkas, penjelajahan web, interaksi AI, penjadwalan, komunikasi, serta skills atau alur kerja yang dapat digunakan kembali. 1
Dalam pengumuman peluncuran Mei 2026, Floatboat juga menyebut fokus pada alur kerja agen yang proaktif dan dipicu kalender, serta menyatakan bahwa perusahaan didukung Sequoia dan Welight Capital. 18
Arah produk tersebut menempatkan runtime sebagai lapisan inti, bukan sekadar pembungkus tipis bagi model bahasa. Agen perlu mempertahankan konteks lintas aplikasi, bertindak pada waktu yang tepat, mematuhi izin, dan terus membuat kemajuan tanpa memaksa pengguna menyusun ulang setiap langkah secara manual.
Implikasi bagi agen AI sehari-hari
Jika hasil ini bertahan setelah pengujian independen, keunggulan kompetitif agen untuk penggunaan sehari-hari dapat bergeser ke lapisan eksekusi: pengelolaan status yang aman, keterlihatan proses, verifikasi, pemulihan, pengaturan izin, dan kendali pengguna.
Strategi model pun bisa menjadi lebih fleksibel. Model yang lebih murah dapat menangani pekerjaan rutin yang memiliki struktur dan dukungan runtime yang baik. Sementara itu, model premium dapat disimpan untuk tugas yang benar-benar membutuhkan penalaran atau penilaian lebih mendalam.
Dengan kata lain, produk terbaik mungkin bukan model termurah atau model terkuat secara terpisah, melainkan sistem yang tahu kapan dan di mana setiap model paling efektif.
Catatan penting sebelum menarik kesimpulan besar
Bukti terkuat untuk eksperimen 7 Agustus berasal dari technical brief Floatboat sendiri. Perusahaan juga mengakui bahwa perbandingan lintas model di tabel publik menggunakan harness dan konfigurasi evaluasi yang berbeda. 3
Uji ulang independen, artefak evaluasi yang dirilis untuk publik, serta kontrol yang lebih ketat atas prompt, anggaran, alat, percobaan ulang, dan versi data masih diperlukan. Sampai hal itu tersedia, hasil “lima kemenangan” sebaiknya dipahami sebagai sinyal kuat tentang pentingnya harness—bukan sebagai bukti final bahwa DeepSeek-V4-Flash telah mengalahkan Claude Opus 4.8 dalam kemampuan model murni.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "DeepSeek-V4-Flash Kalahkan Claude Opus 4.8 di Lima Benchmark Agen—Namun Harness yang Jadi Pembeda"?
Floatboat melaporkan model DeepSeek V4 Flash yang sama mengungguli perbandingan Claude Opus 4.8 di lima benchmark agen setelah hanya harness eksekusinya yang diubah.
Apa poin penting yang harus divalidasi terlebih dahulu?
Floatboat melaporkan model DeepSeek V4 Flash yang sama mengungguli perbandingan Claude Opus 4.8 di lima benchmark agen setelah hanya harness eksekusinya yang diubah. Dengan rasio input output 3:1, biaya token API gabungan yang dilaporkan mencapai $0,175 per juta token untuk DeepSeek dan $10 untuk Opus—sekitar 57,1 kali lebih mahal bagi Opus.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Keunggulan harness dilaporkan meningkat dari 1,9% pada tugas berdurasi pendek menjadi 23,6% pada tugas terpanjang, menegaskan pentingnya memori, penggunaan alat, verifikasi, dan pemulihan dalam pekerjaan agen yang pan...