Keputusan penanda aras Floatboat pada 7 Ogos lebih wajar dibaca sebagai eksperimen perbandingan terkawal yang dilaporkan oleh vendor, bukannya bukti bahawa DeepSeek-V4-Flash sememangnya lebih berkebolehan daripada Claude Opus 4.8.

Floatboat mengekalkan model DeepSeek yang sama, kemudian menukar harness — lapisan sistem yang mengurus cara ejen berinteraksi dengan fail, alat dan persekitaran kerja. Syarikat itu berkata perubahan tersebut sudah cukup untuk membawa model kos rendah itu mengatasi perbandingan Claude Opus 4.8 dalam lima penanda aras ejen awam. 3

Kesimpulan yang lebih berguna adalah lebih terhad: bagi tugasan ejen yang berjalan lama, sistem di sekeliling model mungkin menyumbang sama banyak — atau lebih — kepada kejayaan berbanding model itu sendiri. Namun, dapatan ini masih bersifat awal kerana eksperimen tersebut belum direplikasi secara bebas.

Apa yang diubah oleh Floatboat?

Menurut Floatboat, ujian itu menggunakan keluaran rasmi DeepSeek-V4-Flash-0731, dengan input dan parameter yang sama. Perbezaannya ialah DeepSeek diuji menggunakan harness rasmi yang lebih minimal, manakala Floatboat menggunakan harness penilaiannya sendiri dalam sandbox fizikal yang diasingkan. 3

Harness Floatboat menyediakan gelung kerja yang lebih berterusan, termasuk:

• ruang kerja dan akses fail;
• panggilan kepada pelbagai alat;
• keadaan dan konteks yang dikekalkan;
• peluang menyemak hasil;
• pembetulan kesilapan; dan
• keupayaan meneruskan tugasan selepas beberapa langkah.

Perbezaan ini penting kerana ejen tidak berjaya hanya dengan menghasilkan satu jawapan yang baik. Ia perlu bertindak terhadap persekitaran, memerhatikan hasilnya, mengemas kini pelan, menguji perubahan dan mengelakkan kerja yang telah siap daripada rosak.

Lima keputusan yang dilaporkan

Dalam harness Floatboat, DeepSeek-V4-Flash dilaporkan memperoleh skor berikut:

• BrowseComp: 87.80
• DeepSWE: 67.25
• Terminal Bench 2.1: 84.26
• AutomationBench: 27.50
• Toolathlon: 79.62

Floatboat berkata semua keputusan ini mengatasi perbandingan Claude Opus 4.8 yang diterbitkan. 3

Namun, tajuk “menang kelima-lima ujian” memerlukan sedikit konteks. Perbandingan awam boleh melibatkan harness, arahan, konfigurasi alat, tetapan pensampelan dan kaedah penilaian yang berbeza.

Bahagian paling bermaklumat dalam eksperimen ini ialah perbandingan model yang sama menggunakan dua harness berbeza. Itu lebih berguna daripada sekadar menyusun sistem yang diuji dengan kaedah berlainan di satu papan pendahuluan. Walau bagaimanapun, keputusan berkenaan masih datang daripada laporan syarikat itu sendiri.

Jurang kos besar — tetapi ini bukan jumlah kos sebenar

Harga DeepSeek yang dilaporkan ialah AS$0.14 bagi setiap juta token input dan AS$0.28 bagi setiap juta token output. Dengan nisbah input kepada output 3:1, harga campurannya ialah:

(3 × AS$0.14 + AS$0.28) ÷ 4 = AS$0.175 bagi setiap juta token

Floatboat pula menggunakan harga Claude Opus 4.8 yang dinyatakan sebagai AS$5 bagi setiap juta token input dan AS$25 bagi setiap juta token output. Pada nisbah yang sama:

(3 × AS$5 + AS$25) ÷ 4 = AS$10 bagi setiap juta token

Berdasarkan kiraan itu, Opus kira-kira 57.1 kali lebih mahal dari segi harga token API campuran. 3

Tetapi ini tidak bermaksud setiap tugasan yang selesai menggunakan Opus akan menelan kos 57.1 kali ganda. Kiraan tersebut tidak memasukkan caj alat, kuasa pengkomputeran, caching, panjang konteks, percubaan semula, kos kejuruteraan atau kos mengendalikan harness.

Ringkasnya, ini ialah perbandingan harga token model — bukan analisis jumlah kos pemilikan.

Mengapa kelebihan harness semakin besar untuk tugasan panjang?

Floatboat melaporkan peningkatan relatif sebanyak 1.9%, 9.6%, 12.6%, 19.9% dan 23.6% apabila lima penanda aras itu disusun daripada tugasan dengan ufuk paling pendek kepada tugasan dengan ufuk paling panjang. Menurut syarikat tersebut, coraknya tidak menurun: harness memberi kesan yang lebih kecil pada tugasan ringkas dan lebih besar apabila bilangan langkah yang saling bergantung meningkat. 3

Ejen yang menjalankan tugasan panjang boleh gagal walaupun setiap keputusan kecilnya kelihatan munasabah. Ia mungkin perlu:

• mencari dan mengubah fail yang betul;
• memanggil alat berulang kali serta memahami outputnya;
• mengekalkan pelan, keadaan dan hasil kerja sementara;
• menguji perubahan serta mendiagnosis kegagalan;
• membetulkan tindakan yang tersilap; dan
• mengembalikan perubahan sebelum ia merosakkan kerja seterusnya.

Gelung pelaksanaan yang lemah boleh menukar penaakulan yang betul kepada konteks yang hilang, panggilan alat yang tidak sah, penamatan terlalu awal atau perubahan yang tidak boleh dipulihkan.

Model yang lebih kuat memang boleh memperbaiki keputusan pada setiap langkah. Namun, ia tidak dapat mengatasi sepenuhnya persekitaran yang gagal mengekalkan keadaan, tidak memberikan maklum balas yang berguna atau tidak menyediakan cara selamat untuk pulih daripada kesilapan.

Itulah sebabnya keputusan ini relevan di luar perbandingan DeepSeek dengan Claude. Persoalan yang lebih tepat bukan sekadar “model manakah paling bijak?”, tetapi gabungan model dan runtime manakah yang paling boleh dipercayai untuk menyiapkan tugasan?

Apakah Harness Leverage Ratio?

Floatboat memperkenalkan Harness Leverage Ratio (HLR) untuk membandingkan manfaat menukar harness dengan manfaat menaik taraf model:

HLR = peningkatan hasil daripada menukar harness sahaja
      ───────────────────────────────────────────────
      peningkatan hasil daripada menaik taraf kepada sistem rujukan yang lebih kuat

HLR melebihi 1 bermaksud, dalam penanda aras dan perbandingan yang dipilih, perubahan harness menghasilkan peningkatan skor yang lebih besar daripada peningkatan kepada sistem rujukan yang lebih kuat.

HLR bukan piawaian industri. Nilainya bergantung pada model asas, sistem rujukan, versi penanda aras dan kawalan penilaian yang digunakan. 24

Dalam DeepSWE, Floatboat melaporkan skor Flash meningkat daripada 54.4 menggunakan harness DeepSeek kepada 67.25 menggunakan harness Floatboat — peningkatan sebanyak 12.85 mata. Keputusan Opus 4.8 yang dipetik ialah 58.0, iaitu jurang 3.6 mata berbanding skor asas DeepSeek. Kiraan itu menghasilkan HLR kira-kira 3.57. 3

Floatboat turut melaporkan bahawa HLR meningkat daripada 0.78 bagi tugasan paling pendek kepada 3.57 bagi tugasan paling panjang. Jika corak ini disahkan melalui ujian bebas, ia akan menyokong pandangan bahawa penambahbaikan runtime menjadi semakin bernilai apabila tugasan memerlukan lebih banyak keadaan, panggilan alat dan pemulihan.

Namun, angka itu bukan hukum sejagat. Menukar sistem rujukan atau kaedah penilaian boleh mengubah nisbah tersebut.

Bagaimana ia selari dengan produk Floatboat?

Keputusan penanda aras itu sepadan dengan kedudukan produk Floatboat yang lebih luas. Bahan awam menggambarkannya sebagai persekitaran kerja berasaskan ejen untuk pengendali solo, dengan fungsi seperti fail, pelayaran web, interaksi AI, penjadualan, komunikasi serta kemahiran atau aliran kerja yang boleh digunakan semula. 1

Dalam pengumuman pelancaran pada Mei 2026, syarikat itu menerangkan tumpuannya terhadap aliran kerja ejen proaktif yang dipacu kalendar dan menyatakan Sequoia serta Welight Capital sebagai penyokongnya. 18

Arah produk ini melihat runtime sebagai lapisan teras, bukan sekadar “lapisan nipis” di atas model bahasa. Ejen perlu mengekalkan konteks merentas aplikasi, bertindak pada masa yang sesuai, mematuhi kebenaran akses dan terus membuat kemajuan tanpa memaksa pengguna menyusun semula setiap langkah secara manual.

Implikasi untuk ejen AI harian

Jika keputusan ini bertahan selepas diuji secara bebas, kelebihan daya saing ejen untuk kegunaan harian mungkin beralih kepada substrat pelaksanaan — iaitu pengurusan keadaan yang selamat, kebolehlihatan proses, pengesahan hasil, pemulihan kesilapan, kawalan kebenaran dan kawalan pengguna.

Strategi model juga boleh menjadi lebih fleksibel. Model kos rendah mungkin mencukupi untuk kerja rutin yang disokong oleh runtime yang boleh dipercayai, manakala model premium boleh disimpan untuk tugasan yang benar-benar memerlukan penaakulan atau pertimbangan lebih mendalam.

Dengan kata lain, produk terbaik mungkin bukan model paling murah atau model paling hebat secara bersendirian. Ia mungkin sistem yang tahu model mana patut digunakan, pada tugasan apa, dengan alat dan kawalan yang sesuai.

Namun, syaratnya tetap penting. Bukti terkuat bagi eksperimen 7 Ogos datang daripada taklimat teknikal Floatboat sendiri. Syarikat itu juga mengakui bahawa perbandingan model yang lebih luas menggunakan harness dan konfigurasi penilaian yang berbeza.

Ujian semula secara bebas, artifak penilaian yang diterbitkan serta kawalan lebih ketat terhadap arahan, bajet, alat, percubaan semula dan versi data diperlukan sebelum dakwaan “menang lima ujian” boleh dianggap sebagai keputusan industri yang kukuh. 3

Keputusan penanda aras Floatboat pada 7 Ogos lebih wajar dibaca sebagai eksperimen perbandingan terkawal yang dilaporkan oleh vendor, bukannya bukti bahawa DeepSeek-V4-Flash sememangnya lebih berkebolehan daripada Claude Opus 4.8.

Floatboat mengekalkan model DeepSeek yang sama, kemudian menukar harness — lapisan sistem yang mengurus cara ejen berinteraksi dengan fail, alat dan persekitaran kerja. Syarikat itu berkata perubahan tersebut sudah cukup untuk membawa model kos rendah itu mengatasi perbandingan Claude Opus 4.8 dalam lima penanda aras ejen awam. 3

Kesimpulan yang lebih berguna adalah lebih terhad: bagi tugasan ejen yang berjalan lama, sistem di sekeliling model mungkin menyumbang sama banyak — atau lebih — kepada kejayaan berbanding model itu sendiri. Namun, dapatan ini masih bersifat awal kerana eksperimen tersebut belum direplikasi secara bebas.

Apa yang diubah oleh Floatboat?

Menurut Floatboat, ujian itu menggunakan keluaran rasmi DeepSeek-V4-Flash-0731, dengan input dan parameter yang sama. Perbezaannya ialah DeepSeek diuji menggunakan harness rasmi yang lebih minimal, manakala Floatboat menggunakan harness penilaiannya sendiri dalam sandbox fizikal yang diasingkan. 3

Harness Floatboat menyediakan gelung kerja yang lebih berterusan, termasuk:

• ruang kerja dan akses fail;
• panggilan kepada pelbagai alat;
• keadaan dan konteks yang dikekalkan;
• peluang menyemak hasil;
• pembetulan kesilapan; dan
• keupayaan meneruskan tugasan selepas beberapa langkah.

Perbezaan ini penting kerana ejen tidak berjaya hanya dengan menghasilkan satu jawapan yang baik. Ia perlu bertindak terhadap persekitaran, memerhatikan hasilnya, mengemas kini pelan, menguji perubahan dan mengelakkan kerja yang telah siap daripada rosak.

Lima keputusan yang dilaporkan

Dalam harness Floatboat, DeepSeek-V4-Flash dilaporkan memperoleh skor berikut:

• BrowseComp: 87.80
• DeepSWE: 67.25
• Terminal Bench 2.1: 84.26
• AutomationBench: 27.50
• Toolathlon: 79.62

Floatboat berkata semua keputusan ini mengatasi perbandingan Claude Opus 4.8 yang diterbitkan. 3

Namun, tajuk “menang kelima-lima ujian” memerlukan sedikit konteks. Perbandingan awam boleh melibatkan harness, arahan, konfigurasi alat, tetapan pensampelan dan kaedah penilaian yang berbeza.

Bahagian paling bermaklumat dalam eksperimen ini ialah perbandingan model yang sama menggunakan dua harness berbeza. Itu lebih berguna daripada sekadar menyusun sistem yang diuji dengan kaedah berlainan di satu papan pendahuluan. Walau bagaimanapun, keputusan berkenaan masih datang daripada laporan syarikat itu sendiri.

Jurang kos besar — tetapi ini bukan jumlah kos sebenar

Harga DeepSeek yang dilaporkan ialah AS$0.14 bagi setiap juta token input dan AS$0.28 bagi setiap juta token output. Dengan nisbah input kepada output 3:1, harga campurannya ialah:

(3 × AS$0.14 + AS$0.28) ÷ 4 = AS$0.175 bagi setiap juta token

Floatboat pula menggunakan harga Claude Opus 4.8 yang dinyatakan sebagai AS$5 bagi setiap juta token input dan AS$25 bagi setiap juta token output. Pada nisbah yang sama:

(3 × AS$5 + AS$25) ÷ 4 = AS$10 bagi setiap juta token

Berdasarkan kiraan itu, Opus kira-kira 57.1 kali lebih mahal dari segi harga token API campuran. 3

Tetapi ini tidak bermaksud setiap tugasan yang selesai menggunakan Opus akan menelan kos 57.1 kali ganda. Kiraan tersebut tidak memasukkan caj alat, kuasa pengkomputeran, caching, panjang konteks, percubaan semula, kos kejuruteraan atau kos mengendalikan harness.

Ringkasnya, ini ialah perbandingan harga token model — bukan analisis jumlah kos pemilikan.

Mengapa kelebihan harness semakin besar untuk tugasan panjang?

Floatboat melaporkan peningkatan relatif sebanyak 1.9%, 9.6%, 12.6%, 19.9% dan 23.6% apabila lima penanda aras itu disusun daripada tugasan dengan ufuk paling pendek kepada tugasan dengan ufuk paling panjang. Menurut syarikat tersebut, coraknya tidak menurun: harness memberi kesan yang lebih kecil pada tugasan ringkas dan lebih besar apabila bilangan langkah yang saling bergantung meningkat. 3

Ejen yang menjalankan tugasan panjang boleh gagal walaupun setiap keputusan kecilnya kelihatan munasabah. Ia mungkin perlu:

• mencari dan mengubah fail yang betul;
• memanggil alat berulang kali serta memahami outputnya;
• mengekalkan pelan, keadaan dan hasil kerja sementara;
• menguji perubahan serta mendiagnosis kegagalan;
• membetulkan tindakan yang tersilap; dan
• mengembalikan perubahan sebelum ia merosakkan kerja seterusnya.

Gelung pelaksanaan yang lemah boleh menukar penaakulan yang betul kepada konteks yang hilang, panggilan alat yang tidak sah, penamatan terlalu awal atau perubahan yang tidak boleh dipulihkan.

Model yang lebih kuat memang boleh memperbaiki keputusan pada setiap langkah. Namun, ia tidak dapat mengatasi sepenuhnya persekitaran yang gagal mengekalkan keadaan, tidak memberikan maklum balas yang berguna atau tidak menyediakan cara selamat untuk pulih daripada kesilapan.

Itulah sebabnya keputusan ini relevan di luar perbandingan DeepSeek dengan Claude. Persoalan yang lebih tepat bukan sekadar “model manakah paling bijak?”, tetapi gabungan model dan runtime manakah yang paling boleh dipercayai untuk menyiapkan tugasan?

Apakah Harness Leverage Ratio?

Floatboat memperkenalkan Harness Leverage Ratio (HLR) untuk membandingkan manfaat menukar harness dengan manfaat menaik taraf model:

HLR = peningkatan hasil daripada menukar harness sahaja
      ───────────────────────────────────────────────
      peningkatan hasil daripada menaik taraf kepada sistem rujukan yang lebih kuat

HLR melebihi 1 bermaksud, dalam penanda aras dan perbandingan yang dipilih, perubahan harness menghasilkan peningkatan skor yang lebih besar daripada peningkatan kepada sistem rujukan yang lebih kuat.

HLR bukan piawaian industri. Nilainya bergantung pada model asas, sistem rujukan, versi penanda aras dan kawalan penilaian yang digunakan. 24

Dalam DeepSWE, Floatboat melaporkan skor Flash meningkat daripada 54.4 menggunakan harness DeepSeek kepada 67.25 menggunakan harness Floatboat — peningkatan sebanyak 12.85 mata. Keputusan Opus 4.8 yang dipetik ialah 58.0, iaitu jurang 3.6 mata berbanding skor asas DeepSeek. Kiraan itu menghasilkan HLR kira-kira 3.57. 3

Floatboat turut melaporkan bahawa HLR meningkat daripada 0.78 bagi tugasan paling pendek kepada 3.57 bagi tugasan paling panjang. Jika corak ini disahkan melalui ujian bebas, ia akan menyokong pandangan bahawa penambahbaikan runtime menjadi semakin bernilai apabila tugasan memerlukan lebih banyak keadaan, panggilan alat dan pemulihan.

Namun, angka itu bukan hukum sejagat. Menukar sistem rujukan atau kaedah penilaian boleh mengubah nisbah tersebut.

Bagaimana ia selari dengan produk Floatboat?

Keputusan penanda aras itu sepadan dengan kedudukan produk Floatboat yang lebih luas. Bahan awam menggambarkannya sebagai persekitaran kerja berasaskan ejen untuk pengendali solo, dengan fungsi seperti fail, pelayaran web, interaksi AI, penjadualan, komunikasi serta kemahiran atau aliran kerja yang boleh digunakan semula. 1

Dalam pengumuman pelancaran pada Mei 2026, syarikat itu menerangkan tumpuannya terhadap aliran kerja ejen proaktif yang dipacu kalendar dan menyatakan Sequoia serta Welight Capital sebagai penyokongnya. 18

Arah produk ini melihat runtime sebagai lapisan teras, bukan sekadar “lapisan nipis” di atas model bahasa. Ejen perlu mengekalkan konteks merentas aplikasi, bertindak pada masa yang sesuai, mematuhi kebenaran akses dan terus membuat kemajuan tanpa memaksa pengguna menyusun semula setiap langkah secara manual.

Implikasi untuk ejen AI harian

Jika keputusan ini bertahan selepas diuji secara bebas, kelebihan daya saing ejen untuk kegunaan harian mungkin beralih kepada substrat pelaksanaan — iaitu pengurusan keadaan yang selamat, kebolehlihatan proses, pengesahan hasil, pemulihan kesilapan, kawalan kebenaran dan kawalan pengguna.

Strategi model juga boleh menjadi lebih fleksibel. Model kos rendah mungkin mencukupi untuk kerja rutin yang disokong oleh runtime yang boleh dipercayai, manakala model premium boleh disimpan untuk tugasan yang benar-benar memerlukan penaakulan atau pertimbangan lebih mendalam.

Dengan kata lain, produk terbaik mungkin bukan model paling murah atau model paling hebat secara bersendirian. Ia mungkin sistem yang tahu model mana patut digunakan, pada tugasan apa, dengan alat dan kawalan yang sesuai.

Namun, syaratnya tetap penting. Bukti terkuat bagi eksperimen 7 Ogos datang daripada taklimat teknikal Floatboat sendiri. Syarikat itu juga mengakui bahawa perbandingan model yang lebih luas menggunakan harness dan konfigurasi penilaian yang berbeza.

Ujian semula secara bebas, artifak penilaian yang diterbitkan serta kawalan lebih ketat terhadap arahan, bajet, alat, percubaan semula dan versi data diperlukan sebelum dakwaan “menang lima ujian” boleh dianggap sebagai keputusan industri yang kukuh. 3