DeepSeek Harness v0.1.0-rc.8: 14 kemas kini yang menjadikan imej input utama ejen

DeepSeek Harness v0.1.0-rc.8 ialah kemas kini orkestrasi dan input—bukan bukti bahawa setiap model DeepSeek kini boleh melihat imej. Versi ini diterbitkan pada 19 Ogos 2026, enam hari selepas pelancaran beta awam dan sumber terbuka; sesetengah laporan pula membincangkan pengumuman itu pada 20 hingga 21 Ogos. 916

Kesemua 14 perubahan dalam RC.8 menjadikan imej boleh digunakan sepanjang aliran kerja ejen, di samping memperbaiki subejen, tingkah laku terminal, pelaksanaan alat, storan dan keserasian. 4

Perubahan utama: imej kini masuk ke dalam gelung ejen

RC.8 menambah laluan permintaan imej asli yang boleh dikonfigurasikan pada penyesuai model DeepSeek. Jika model atau backend yang dipilih menyokong input imej, Harness boleh menghantar imej terus kepadanya, bukannya menganggap lampiran itu sebagai sesuatu yang terpisah daripada tugasan. 28

Sokongan ini turut merangkumi arahan perancangan utama:

• /goal menerima input gabungan teks dan imej.
• /plan menerima input gabungan teks dan imej.
• Menu @ boleh merujuk fail tempatan serta sesi terdahulu ketika kerja diteruskan. 21215

Bagi aliran kerja ejen pengekodan, perubahan ini cukup penting. Tangkap layar aplikasi, lakaran antara muka, rajah atau paparan ralat kini boleh dimasukkan terus ke dalam matlamat dan pelan, tanpa pengguna perlu menerangkan semuanya secara manual.

Namun, ada satu perkara yang perlu diperjelas: RC.8 menyediakan saluran penghantaran dan orkestrasi imej, bukannya memberikan kefahaman visual bebas kepada model yang hanya menyokong teks. Tafsiran imej secara asli masih bergantung pada model atau backend yang dikonfigurasikan. 89

Apa yang terkandung dalam 14 perubahan ini?

Claude Code dan Codex menjadi subejen yang boleh dipasang

Claude Code dan Codex kini boleh dipasang sebagai himpunan profil atas permintaan dalam sistem subejen. Codex turut mendapat mod kebenaran tanpa interaksi serta sokongan untuk beberapa instance bernama. Ini membolehkan beberapa subejen Codex dengan konfigurasi berbeza dijalankan dalam satu aliran kerja. 24

Terminal Windows mengekalkan keadaan shell

Terminal PTY Windows kini menyokong sesi PowerShell yang berterusan. Fungsi ini diaktifkan secara lalai dalam pratetap minimum, jadi arahan berturutan tidak perlu mencipta semula keadaan shell setiap kali. 2

Pelaksanaan alat menjadi lebih pantas dan fleksibel

Kemas kini ini memperbaiki panggilan alat, termasuk pelaksanaan web_search secara serentak, mengaktifkan semula tugasan induk selepas subejen menghantar laporan, dan membuka pelayar tempatan secara automatik untuk dsh web. Prestasi untuk percabangan sesi besar serta storan SQLite turut dipertingkatkan. 24

Masalah imej, penstriman dan gateway diperbaiki

RC.8 membaiki kegagalan permintaan yang berpunca daripada satu imej yang terlalu besar atau terlalu banyak imej terkumpul dalam sejarah perbualan. Ia juga mengekalkan awalan balasan apabila respons penstriman dibatalkan sebelum perbualan diteruskan atau dicabangkan.

Keserasian dengan gateway tersuai yang serasi dengan OpenAI turut dipertingkatkan bagi menangani perbezaan format permintaan dan keadaan apabila kandungan inferens tidak dikembalikan. 24

Secara keseluruhan, ini bukan sekadar ciri muat naik imej. Imej kini boleh terlibat dalam matlamat, perancangan, sejarah sesi dan tugasan yang diwakilkan kepada subejen, sementara runtime menjadi lebih tahan lasak untuk sesi panjang atau yang banyak menggunakan alat. 213

Bagaimana “penglihatan lapisan alat” membantu model teks sahaja?

Apabila model yang dipilih tidak mengisytiharkan sokongan input imej, Harness boleh menggunakan alat untuk menukar imej kepada bukti berstruktur dalam bentuk teks. Saluran yang dilaporkan merangkumi teks OCR berserta koordinat, statistik nisbah warna, imbasan baris piksel terpilih, dimensi imej dan metadata mod warna. Bukti ini kemudiannya diberikan kepada model teks untuk dianalisis. 12

Model tersebut sebenarnya tidak menerima medan visual asal seperti model penglihatan asli. Sebaliknya, ia membuat penaakulan berdasarkan ukuran dan penerangan yang diekstrak. Kaedah ini berguna sebagai jalan alternatif, tetapi maklumat yang diperoleh tetap bersifat tidak lengkap atau lossy.

Tugasan yang paling sesuai

Penglihatan lapisan alat paling berguna untuk imej yang mempunyai struktur yang mudah dipulihkan, seperti:

• Tangkap layar aplikasi dan antara muka pengguna
• Tangkap layar slaid pembentangan
• Carta alir, rajah dan grafik ringkas
• Imej sarat teks dengan susun atur jelas serta kontras yang baik 2

Tugasan seperti ini lazimnya bergantung pada teks yang boleh dibaca, penjajaran, sempadan, warna atau isyarat visual lain yang boleh dikesan melalui OCR dan pemeriksaan piksel terarah.

Bila penglihatan asli masih diperlukan?

Pendekatan ini jauh lebih lemah untuk foto semula jadi, pengecaman objek secara terperinci, gaya visual, konteks halus serta hubungan ruang atau adegan yang kompleks. OCR dan statistik piksel yang disampel tidak dapat membina semula setiap butiran yang diperlukan untuk tugasan tersebut secara konsisten. 12

Kaedah praktikalnya mudah: gunakan model penglihatan asli untuk kefahaman imej sebenar; gunakan penglihatan lapisan alat untuk mengekstrak bukti tertentu atau sebagai sandaran apabila model utama hanya menyokong teks.

Ia boleh membantu mengekstrak teks, memeriksa warna dominan, mencari sempadan ringkas atau mengesahkan perbezaan antara piksel dalam antara muka. Namun, hasilnya tidak wajar dianggap setara dengan penaakulan visual asli. 23

Plugin komuniti yang melanjutkan aliran kerja imej

Sebelum sokongan multimodal RC.8 diperkenalkan, komuniti sudah meneroka beberapa cara untuk memberikan bukti visual kepada ejen Harness yang hanya menyokong teks. Antara pilihan yang dilaporkan ialah dsh-vision, dsh-vision-toolkit dan modlens; direktori plugin turut menyenaraikan jambatan OCR tempatan serta penyelesaian pseudo-vision. 1023

Dua contoh menunjukkan pendekatan yang berbeza:

• ModLens menghasilkan bukti berstruktur merangkumi OCR, susun atur, entiti dan hubungan untuk model teks sahaja. 18
• dsh-vision-toolkit memfokuskan OCR tangkap layar panjang, penjejakan visual, pembinaan semula antara muka dan perbandingan piksel. 1821

Plugin ini melengkapi, bukannya menggantikan, laluan imej asli RC.8. Model penglihatan yang serasi boleh menerima imej secara terus; plugin pula boleh menyediakan OCR, analisis susun atur, pemeriksaan piksel atau alat model luaran yang lebih khusus; manakala model teks sahaja boleh membuat penaakulan berdasarkan bukti yang terhasil.

Pemisahan ini memberikan pembangun pilihan antara persepsi asli yang lebih menyeluruh dan output alat yang lebih terarah serta mudah diperiksa.