Tiga hal yang perlu dipahami sebelum membaca tabel

1. Setiap benchmark mengukur kemampuan yang berbeda. Terminal‑Bench, SWE‑Bench, BrowseComp, OSWorld, GPQA, dan HLE tidak menguji hal yang sama. Model yang bagus untuk coding belum tentu paling baik untuk riset web, long-context retrieval, atau computer-use.
2. Akses tool dan effort inferensi bisa mengubah hasil. OpenAI system card menjelaskan GPT‑5.5 Pro sebagai model dasar yang sama dengan GPT‑5.5, tetapi memakai setting parallel test-time compute. Jadi skor GPT‑5.5 dan GPT‑5.5 Pro tidak boleh dianggap berasal dari budget inferensi yang identik.
3. Leaderboard publik bagus untuk shortlist, bukan keputusan final. Skor self-reported dan hasil benchmark independen bisa berbeda, sehingga tim yang akan memakai model di produksi tetap perlu evaluasi dengan workload sendiri.

Peta kekuatan tiap model

Tabel benchmark head-to-head

Pilihan terbaik berdasarkan pekerjaan

1. Agen coding yang banyak memakai terminal: GPT‑5.5

Jika workload Anda melibatkan aksi terminal, browser atau tool use, tugas OS-level, dan loop agen multi-langkah, GPT‑5.5 terlihat paling kuat dalam data ini. OpenAI melaporkan Terminal‑Bench 2.0 82,7%, OSWorld‑Verified 78,7%, BrowseComp 84,4%, dan Toolathlon 55,6%.

Namun, jangan menyamakan GPT‑5.5 Pro dengan GPT‑5.5 reguler. Skor BrowseComp GPT‑5.5 Pro mencapai 90,1%, tetapi OpenAI system card menyebut Pro sebagai setting parallel test-time compute pada model dasar yang sama.

Cocok untuk: coding agents, agen riset browser, automasi computer-use, asisten enterprise yang banyak memakai tool.

2. Perbaikan codebase produksi: Claude Opus 4.7

Kalau KPI utama Anda adalah memperbaiki bug di repository nyata, menyiapkan pull request, membuat test lulus, dan memahami codebase besar, Claude Opus 4.7 adalah kandidat shortlist paling kuat. SWE‑Bench Verified 87,6% dan SWE‑Bench Pro 64,3% menempatkannya di depan pada benchmark software engineering yang dilaporkan.

Anthropic juga memosisikan Claude Opus 4.7 sebagai model hybrid reasoning untuk coding dan AI agents dengan context window 1 juta token, sehingga wajar untuk diuji pada workflow codebase besar.

Cocok untuk: maintenance repo, code review, refactor kompleks, developer copilot, engineering agents.

3. Stack coding open weights: Kimi K2.6

Jika kebutuhan Anda adalah model open weights atau deployment yang memberi kontrol lebih besar, Kimi K2.6 masuk jajaran kandidat terkuat. Tabel resmi Kimi mencantumkan Terminal‑Bench 2.0 66,7%, SWE‑Bench Pro 58,6%, SWE‑Bench Verified 80,2%, SciCode 52,2%, dan LiveCodeBench v6 89,6.

Materi publik Kimi juga menunjukkan sinyal kuat untuk workload agentic dan search-style, termasuk BrowseComp 83,2% dan Agent Swarm BrowseComp 86,3%. Artificial Analysis menyebut model ini mendukung input gambar dan video secara native serta context length 256k.

Cocok untuk: deployment open model, coding agents, agen riset, dan tim yang butuh kontrol hosting lebih besar.

4. Eksperimen long-context open-source/open-weights: DeepSeek V4

DeepSeek menyebut V4 Preview resmi live dan open-sourced pada 24 April 2026. Kartu model DeepSeek-V4-Pro memosisikan seri V4 sebagai model bahasa Mixture-of-Experts atau MoE.

Set benchmark DeepSeek V4-Pro/Pro-Max yang dilaporkan mencakup Terminal Bench 2.0 67,9, SWE Verified 80,6, SWE Pro 55,4, dan GPQA Diamond 90,1. Ini membuatnya layak masuk shortlist untuk eksperimen open-source/open-weights dan long-context, tetapi skor harus selalu dibaca bersama nama varian yang tepat.

Cocok untuk: aplikasi long-context, eksperimen open-source/open-weights, dan tim yang membandingkan frontier model hosted dengan alternatif yang bisa dideploy.

5. Reasoning sains dan matematika: Claude unggul di GPQA, tetapi gambarnya tidak tunggal

Dalam angka yang tersedia, Claude Opus 4.7 mencapai GPQA Diamond 94,2%. Kimi K2.6 melaporkan GPQA-Diamond 90,5% dan AIME 2026 96,4%. DeepSeek V4-Pro/Pro-Max melaporkan GPQA Diamond 90,1.

Artinya, Claude sangat layak masuk shortlist untuk reasoning sains. Namun untuk workload matematika dan sains, keputusan sebaiknya tidak bertumpu pada satu benchmark saja. Perbedaan setup benchmark, akses tool, dan mode effort bisa mengubah hasil.

Checklist evaluasi sebelum memilih model

• Jangan memutuskan dari satu benchmark publik. Skor publik dan self-reported bisa berbeda dari run independen, jadi uji dengan prompt, tool budget, timeout, dan rubrik penilaian yang sama.
• Pisahkan GPT‑5.5 dan GPT‑5.5 Pro. Setting Pro memakai parallel test-time compute, sehingga hasil reguler dan Pro tidak mewakili budget compute yang sama.
• Tentukan dulu kebutuhan open weights. Jika kontrol data, self-hosting, atau kustomisasi model menjadi syarat utama, evaluasi Kimi K2.6 dan DeepSeek V4 di jalur terpisah.
• Jangan menilai long context hanya dari ukuran window. Claude Opus 4.7 punya positioning 1 juta token, Kimi K2.6 dilaporkan punya max context 256k, dan materi DeepSeek V4 menekankan long-context; tetap uji recall, kepatuhan instruksi, dan biaya pada dokumen Anda sendiri.
• Untuk coding agents, gabungkan benchmark publik dengan repo internal. Skor gaya SWE‑Bench berguna sebagai sinyal, tetapi repo produksi punya dependency, flaky tests, coding style, dan constraint review yang berbeda.

Keterbatasan perbandingan ini

• Tidak ada perbandingan publik lengkap dalam kumpulan sumber ini yang menguji keempat model di lab independen yang sama, dengan harness, tool access, dan effort setting yang sama; LM Council juga memperingatkan bahwa hasil independen bisa tidak sama dengan skor self-reported.
• GPT‑5.5 Pro tidak boleh dibaca sama dengan GPT‑5.5 reguler, karena OpenAI system card menjelaskan Pro sebagai setting parallel test-time compute pada model dasar yang sama.
• Skor DeepSeek V4 bersifat spesifik varian. V4 Preview, V4-Pro, dan Pro-Max tidak boleh dicampur menjadi satu skor tunggal bernama DeepSeek V4.
• Untuk deployment open weights seperti Kimi K2.6 dan DeepSeek V4, serving stack, hardware, quantization, dan setting konteks bisa memengaruhi performa dunia nyata; karena itu benchmark publik perlu dilengkapi evaluasi deployment sendiri.

Intinya

Shortlist GPT‑5.5 bila pekerjaan utama Anda adalah agentic computer-use, browsing, orkestrasi tool, dan coding yang banyak melibatkan terminal.

Prioritaskan Claude Opus 4.7 bila nilai produk Anda bertumpu pada bug fixing level repo, perbaikan codebase, dan software engineering gaya SWE‑Bench.

Uji Kimi K2.6 bila Anda butuh model coding open weights dengan sinyal kuat di SWE‑Bench, Terminal‑Bench, dan agentic search.

Masukkan DeepSeek V4-Pro/Pro-Max ke shortlist bila eksperimen long-context open-source/open-weights dan deployability menjadi constraint utama, tetapi selalu verifikasi varian dan setup benchmarknya.

Keputusan produk yang paling aman: gunakan tabel benchmark publik untuk membuat shortlist, lalu pilih model final berdasarkan tugas nyata, latency, biaya, batasan privasi, dan failure-mode tests di lingkungan Anda sendiri.

Tiga hal yang perlu dipahami sebelum membaca tabel

1. Setiap benchmark mengukur kemampuan yang berbeda. Terminal‑Bench, SWE‑Bench, BrowseComp, OSWorld, GPQA, dan HLE tidak menguji hal yang sama. Model yang bagus untuk coding belum tentu paling baik untuk riset web, long-context retrieval, atau computer-use.
2. Akses tool dan effort inferensi bisa mengubah hasil. OpenAI system card menjelaskan GPT‑5.5 Pro sebagai model dasar yang sama dengan GPT‑5.5, tetapi memakai setting parallel test-time compute. Jadi skor GPT‑5.5 dan GPT‑5.5 Pro tidak boleh dianggap berasal dari budget inferensi yang identik.
3. Leaderboard publik bagus untuk shortlist, bukan keputusan final. Skor self-reported dan hasil benchmark independen bisa berbeda, sehingga tim yang akan memakai model di produksi tetap perlu evaluasi dengan workload sendiri.

Peta kekuatan tiap model

Tabel benchmark head-to-head

Pilihan terbaik berdasarkan pekerjaan

1. Agen coding yang banyak memakai terminal: GPT‑5.5

Jika workload Anda melibatkan aksi terminal, browser atau tool use, tugas OS-level, dan loop agen multi-langkah, GPT‑5.5 terlihat paling kuat dalam data ini. OpenAI melaporkan Terminal‑Bench 2.0 82,7%, OSWorld‑Verified 78,7%, BrowseComp 84,4%, dan Toolathlon 55,6%.

Namun, jangan menyamakan GPT‑5.5 Pro dengan GPT‑5.5 reguler. Skor BrowseComp GPT‑5.5 Pro mencapai 90,1%, tetapi OpenAI system card menyebut Pro sebagai setting parallel test-time compute pada model dasar yang sama.

Cocok untuk: coding agents, agen riset browser, automasi computer-use, asisten enterprise yang banyak memakai tool.

2. Perbaikan codebase produksi: Claude Opus 4.7

Kalau KPI utama Anda adalah memperbaiki bug di repository nyata, menyiapkan pull request, membuat test lulus, dan memahami codebase besar, Claude Opus 4.7 adalah kandidat shortlist paling kuat. SWE‑Bench Verified 87,6% dan SWE‑Bench Pro 64,3% menempatkannya di depan pada benchmark software engineering yang dilaporkan.

Anthropic juga memosisikan Claude Opus 4.7 sebagai model hybrid reasoning untuk coding dan AI agents dengan context window 1 juta token, sehingga wajar untuk diuji pada workflow codebase besar.

Cocok untuk: maintenance repo, code review, refactor kompleks, developer copilot, engineering agents.

3. Stack coding open weights: Kimi K2.6

Jika kebutuhan Anda adalah model open weights atau deployment yang memberi kontrol lebih besar, Kimi K2.6 masuk jajaran kandidat terkuat. Tabel resmi Kimi mencantumkan Terminal‑Bench 2.0 66,7%, SWE‑Bench Pro 58,6%, SWE‑Bench Verified 80,2%, SciCode 52,2%, dan LiveCodeBench v6 89,6.

Materi publik Kimi juga menunjukkan sinyal kuat untuk workload agentic dan search-style, termasuk BrowseComp 83,2% dan Agent Swarm BrowseComp 86,3%. Artificial Analysis menyebut model ini mendukung input gambar dan video secara native serta context length 256k.

Cocok untuk: deployment open model, coding agents, agen riset, dan tim yang butuh kontrol hosting lebih besar.

4. Eksperimen long-context open-source/open-weights: DeepSeek V4

DeepSeek menyebut V4 Preview resmi live dan open-sourced pada 24 April 2026. Kartu model DeepSeek-V4-Pro memosisikan seri V4 sebagai model bahasa Mixture-of-Experts atau MoE.

Set benchmark DeepSeek V4-Pro/Pro-Max yang dilaporkan mencakup Terminal Bench 2.0 67,9, SWE Verified 80,6, SWE Pro 55,4, dan GPQA Diamond 90,1. Ini membuatnya layak masuk shortlist untuk eksperimen open-source/open-weights dan long-context, tetapi skor harus selalu dibaca bersama nama varian yang tepat.

Cocok untuk: aplikasi long-context, eksperimen open-source/open-weights, dan tim yang membandingkan frontier model hosted dengan alternatif yang bisa dideploy.

5. Reasoning sains dan matematika: Claude unggul di GPQA, tetapi gambarnya tidak tunggal

Dalam angka yang tersedia, Claude Opus 4.7 mencapai GPQA Diamond 94,2%. Kimi K2.6 melaporkan GPQA-Diamond 90,5% dan AIME 2026 96,4%. DeepSeek V4-Pro/Pro-Max melaporkan GPQA Diamond 90,1.

Artinya, Claude sangat layak masuk shortlist untuk reasoning sains. Namun untuk workload matematika dan sains, keputusan sebaiknya tidak bertumpu pada satu benchmark saja. Perbedaan setup benchmark, akses tool, dan mode effort bisa mengubah hasil.

Checklist evaluasi sebelum memilih model

• Jangan memutuskan dari satu benchmark publik. Skor publik dan self-reported bisa berbeda dari run independen, jadi uji dengan prompt, tool budget, timeout, dan rubrik penilaian yang sama.
• Pisahkan GPT‑5.5 dan GPT‑5.5 Pro. Setting Pro memakai parallel test-time compute, sehingga hasil reguler dan Pro tidak mewakili budget compute yang sama.
• Tentukan dulu kebutuhan open weights. Jika kontrol data, self-hosting, atau kustomisasi model menjadi syarat utama, evaluasi Kimi K2.6 dan DeepSeek V4 di jalur terpisah.
• Jangan menilai long context hanya dari ukuran window. Claude Opus 4.7 punya positioning 1 juta token, Kimi K2.6 dilaporkan punya max context 256k, dan materi DeepSeek V4 menekankan long-context; tetap uji recall, kepatuhan instruksi, dan biaya pada dokumen Anda sendiri.
• Untuk coding agents, gabungkan benchmark publik dengan repo internal. Skor gaya SWE‑Bench berguna sebagai sinyal, tetapi repo produksi punya dependency, flaky tests, coding style, dan constraint review yang berbeda.

Keterbatasan perbandingan ini

• Tidak ada perbandingan publik lengkap dalam kumpulan sumber ini yang menguji keempat model di lab independen yang sama, dengan harness, tool access, dan effort setting yang sama; LM Council juga memperingatkan bahwa hasil independen bisa tidak sama dengan skor self-reported.
• GPT‑5.5 Pro tidak boleh dibaca sama dengan GPT‑5.5 reguler, karena OpenAI system card menjelaskan Pro sebagai setting parallel test-time compute pada model dasar yang sama.
• Skor DeepSeek V4 bersifat spesifik varian. V4 Preview, V4-Pro, dan Pro-Max tidak boleh dicampur menjadi satu skor tunggal bernama DeepSeek V4.
• Untuk deployment open weights seperti Kimi K2.6 dan DeepSeek V4, serving stack, hardware, quantization, dan setting konteks bisa memengaruhi performa dunia nyata; karena itu benchmark publik perlu dilengkapi evaluasi deployment sendiri.

Intinya

Shortlist GPT‑5.5 bila pekerjaan utama Anda adalah agentic computer-use, browsing, orkestrasi tool, dan coding yang banyak melibatkan terminal.

Prioritaskan Claude Opus 4.7 bila nilai produk Anda bertumpu pada bug fixing level repo, perbaikan codebase, dan software engineering gaya SWE‑Bench.

Uji Kimi K2.6 bila Anda butuh model coding open weights dengan sinyal kuat di SWE‑Bench, Terminal‑Bench, dan agentic search.

Masukkan DeepSeek V4-Pro/Pro-Max ke shortlist bila eksperimen long-context open-source/open-weights dan deployability menjadi constraint utama, tetapi selalu verifikasi varian dan setup benchmarknya.

Keputusan produk yang paling aman: gunakan tabel benchmark publik untuk membuat shortlist, lalu pilih model final berdasarkan tugas nyata, latency, biaya, batasan privasi, dan failure-mode tests di lingkungan Anda sendiri.