JawabanDipublikasikan8 sumber
Keamanan Agent DeepSeek V4 Pro Bergantung pada Harness, Bukan Model Saja
DeepSeek V4 Pro sebaiknya diperlakukan sebagai komponen agent, bukan batas keamanan. Evaluasi harus mencakup konfigurasi yang dikunci: model, harness, prompt sistem, tools, izin, logika sesi, memori, kebijakan retry, serta batas filesystem dan jaringan.
Diterbitkan olehDiedit dengan GPT-5.6 LunaGambar dibuat dengan GPT Image 1.5
Jawaban penelitian
Poin-poin penting
- DeepSeek V4 Pro sebaiknya diperlakukan sebagai komponen agent, bukan batas keamanan.
- Evaluasi harus mencakup konfigurasi yang dikunci: model, harness, prompt sistem, tools, izin, logika sesi, memori, kebijakan retry, serta batas filesystem dan jaringan.
- Kurangi dampak kesalahan dengan identitas berhak akses minimum, kredensial terlindungi, otorisasi di sisi server, persetujuan untuk tindakan berisiko tinggi, isolasi state, dan pengujian adversarial yang dapat diaudit.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: How should organizations safely deploy and evaluate DeepSeek V4 Pro agents given that its availability through the web, mobile app, API, Ope. Article summary: Organizations should treat DeepSeek V4 Pro as an agent component, not as a safety boundary. Web, mobile, API, Responses API, and Codex availability can establish interface compatibility, but assurance must be granted onl. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Organisasi yang ingin menerapkan agent berbasis DeepSeek V4 Pro sebaiknya tidak menilai model secara terpisah. Unit evaluasinya harus berupa konfigurasi lengkap model–harness–tugas–lingkungan.
Ketersediaan model melalui web, aplikasi seluler, API, OpenAI Responses API, atau integrasi Codex dapat menunjukkan kompatibilitas antarmuka. Namun, hal itu tidak membuktikan bahwa prompt, tools, izin, memori, mekanisme pengulangan, maupun dampak sampingannya akan berperilaku sama di setiap runtime.
Aturan operasionalnya sederhana: setujui hanya konfigurasi yang sudah dikunci versinya dan lulus evaluasi keamanan khusus untuk konfigurasi tersebut.
Mengapa harness mengubah perilaku agent
Agent bukan hanya model bahasa. Harness menentukan bagaimana model menerima instruksi, memilih tools, mengakses data, menangani kegagalan, dan memengaruhi sistem eksternal.
Perbedaan yang dapat mengubah profil risiko antara lain:
- prompt sistem dan adapter;
- definisi serta implementasi tools;
- cakupan izin dan mekanisme persetujuan;
- root filesystem dan akses jaringan;
- sumber kredensial serta identitas yang digunakan;
- perilaku subprocess dan kode yang dihasilkan;
- logika retry, timeout, dan konkurensi;
- state sesi, ringkasan, cache, serta memori persisten.
Karena itu, backend DeepSeek V4 Pro yang sama dapat memiliki profil risiko berbeda ketika dijalankan melalui harness atau lingkungan eksekusi yang berbeda. Skema API yang kompatibel adalah bukti kompatibilitas integrasi—bukan sertifikasi keamanan.
Pelajaran dari benchmark AgentS4D
AgentS4D mengevaluasi konfigurasi runtime lengkap, bukan sekadar respons model. Benchmark ini menggunakan 328 kasus yang sengaja diberi injeksi risiko pada empat harness dan lima backend model, sehingga menghasilkan 6.560 proses di lingkungan sandbox. Sebanyak 4.461 proses, atau 68,0 persen, dilaporkan tidak aman. Dari jumlah tersebut, 4.344 proses, atau 66,22 persen dari seluruh proses, dinilai sekaligus tidak aman dan selesai. 1
3
Temuan utamanya: tugas yang berhasil diselesaikan dapat tetap disertai eksekusi yang tidak aman. Agent mungkin menghasilkan artefak yang diminta, tetapi pada saat yang sama melakukan perubahan terlarang, salah menangani data sensitif, melewati kontrol yang seharusnya berlaku, atau menimbulkan dampak sampingan lain.
Angka tersebut tidak boleh dibaca sebagai tingkat insiden produksi DeepSeek V4 Pro. Pengujian dilakukan pada kasus yang sengaja diberi risiko dalam sandbox terkontrol dan menggabungkan beberapa kombinasi model–harness. Jenis tugas di produksi, kontrol yang tersedia, paparan terhadap konten adversarial, aset yang diproses, serta definisi kerugian dapat berbeda. Benchmark ini menunjukkan bahwa keamanan runtime perlu diukur secara langsung—bukan menjadi prediksi tentang semua deployment. 1
3
5
Batasi dampak maksimum dari setiap tindakan
Kontrol keamanan harus mengurangi konsekuensi kesalahan, termasuk ketika model atau tool berperilaku di luar dugaan.
Gunakan identitas khusus dengan hak akses minimum
Buat identitas terpisah untuk agent, lingkungan, dan tenant. Hindari kredensial karyawan yang tersedia secara otomatis, akses administrator produksi, serta secret yang dapat digunakan kembali secara luas. Setiap identitas harus dibatasi pada resource dan operasi yang diperlukan untuk satu pekerjaan.
Batasi filesystem dan jaringan
- Kaitkan agent hanya ke root workspace khusus.
- Buat path yang tidak relevan benar-benar tidak dapat diakses, bukan sekadar disembunyikan.
- Gunakan allowlist untuk tujuan jaringan, metode, port, dan—bila relevan—volume data keluar.
- Pisahkan kemampuan membaca, membuat draf, menulis ke staging, dan menulis ke produksi.
- Simpan secret di broker atau sistem token berumur pendek.
- Jangan pernah menaruh kredensial jangka panjang di prompt, file workspace, environment variable, atau keluaran tool.
Tindakan berdampak tinggi—seperti menghapus data, menerbitkan konten, melakukan pembayaran, mengubah akses, melakukan deployment, atau berkomunikasi dengan pihak eksternal—harus melewati pemeriksaan kebijakan di lapisan eksekusi atau memerlukan persetujuan eksplisit.
Periksa seluruh rantai eksekusi
Tool resmi hanyalah salah satu bagian dari permukaan serangan. Child process, perintah shell, kode yang dihasilkan, instalasi paket, server tool jarak jauh, plugin, dan kode skill juga dapat menimbulkan dampak sampingan.
Kebijakan yang sama harus berlaku pada semua jalur tersebut. Secara khusus, cegah eksekusi shell atau kode yang dihasilkan agar tidak melewati kontrol filesystem, jaringan, otorisasi, logging, maupun persetujuan.
Jadikan tools dapat ditegakkan di luar model
Panggilan tool yang dihasilkan model harus diperlakukan sebagai permintaan tidak tepercaya. Server tool—bukan model—yang wajib menegakkan aturan otorisasi dan keamanan.
Gunakan skema yang sempit dengan kontrol seperti:
- nilai enum dan batas panjang yang jelas;
- normalisasi path serta identitas resource yang eksplisit;
- allowlist tujuan;
- batas pagination dan ukuran hasil;
- validasi argumen di luar model;
- otorisasi sisi server untuk caller, tenant, target, dan operasi tertentu.
Pisahkan tool untuk perencanaan atau pratinjau dari tool yang benar-benar menimbulkan efek. Untuk operasi yang destruktif atau sulit dibatalkan:
- minta pratinjau dan konfirmasi atau token persetujuan;
- utamakan soft-delete, karantina, atau alur yang dapat dibalik;
- gunakan idempotency key;
- tentukan perilaku ketika permintaan yang sama diulang;
- kembalikan tanda terima yang persisten agar retry tidak mengulangi dampak.
Kontrol ini penting karena JSON tool call yang tampak valid tetap dapat memuat target tanpa izin, path berbahaya, cakupan berlebihan, atau operasi yang seharusnya memerlukan peninjauan manusia.
Tetapkan aturan state dan memori sebelum deployment
State dapat membawa risiko lintas percakapan, tugas, pengguna, dan lingkungan. Organisasi perlu mendokumentasikan serta menegakkan siklus hidup pesan, file unggahan, file workspace, ringkasan, hasil tool, cache, dan memori persisten.
Setidaknya, tetapkan hal berikut:
- Isolasi: pisahkan state berdasarkan pengguna, tenant, tugas, dan lingkungan; jangan izinkan berbagi lintas sesi secara implisit.
- Retensi: tentukan masa simpan, enkripsi, kontrol akses, dan aturan penghapusan.
- Reset: sediakan cara terdokumentasi untuk menghapus konteks, memori, state workspace, kredensial, dan cache di antara proses.
- Retry dan timeout: tetapkan jumlah serta anggaran yang terbatas; retry harus mempertahankan idempotensi dan tidak boleh diam-diam memperluas hak akses.
- Konkurensi: definisikan penguncian dan penanganan konflik untuk file bersama, persetujuan, dan operasi eksternal.
Perlakukan perilaku reset state sebagai bagian dari batas keamanan. Jika instruksi lama, kredensial, atau hasil tool dapat muncul kembali tanpa sengaja dalam tugas baru, perubahan model atau prompt bisa mengubah risiko dengan cara yang tidak terlihat melalui pengujian respons saja.
Anggap semua pembawa risiko sebagai input tidak tepercaya
Prompt injection tidak harus datang dari pesan langsung pengguna. Instruksi berisiko dapat disisipkan melalui:
- dokumen unggahan dan file repository;
- halaman web yang diambil secara otomatis;
- skill dan plugin eksternal;
- respons layanan tool;
- memori persisten;
- ringkasan dan konteks yang tersimpan di cache;
- teks yang diberikan pengguna.
Materi tersebut harus diparse, diberi label, dan diperlakukan sebagai data. Materi itu tidak boleh mengubah otoritas agent, kebijakan, pemilihan tool, penggunaan kredensial, atau persyaratan persetujuan. Pemisahan ini harus ditegakkan oleh runtime, bukan hanya mengandalkan kemampuan model untuk mengenali instruksi berbahaya.
Checklist rilis khusus untuk harness
Sebelum deployment disetujui, bekukan dan catat konfigurasi berikut:
- Model dan routing: identitas serta versi model, rute provider, pengaturan inferensi atau tingkat effort, dan adapter kompatibilitas.
- Perilaku harness: versi harness, prompt sistem, logika sesi, aturan retry dan timeout, kebijakan subprocess, serta implementasi memori.
- Tools dan kebijakan: definisi serta versi tool, versi kebijakan, ambang persetujuan, logika otorisasi, dan batas kepercayaan server tool.
- Izin: identitas, cakupan akses, root filesystem, tujuan jaringan, sumber kredensial, dan jalur penulisan ke produksi.
- Semantik state: isolasi, retensi, reset, perilaku cache, konkurensi, dan batas antar-sesi.
- Cakupan adversarial: prompt injection melalui setiap pembawa risiko, upaya confused deputy, kebocoran kredensial, path traversal, SSRF atau penyalahgunaan egress, respons tool berbahaya, duplikasi akibat retry, memory poisoning, dan bypass persetujuan.
- Bukti: versi prompt dan kebijakan, panggilan serta hasil tool, persetujuan, keputusan kebijakan, perbedaan workspace, permintaan keluar, identitas yang digunakan, artefak akhir, hasil penyelesaian, dan hasil keamanan di bawah ID proses yang stabil.
Nilai penyelesaian tugas dan keamanan secara terpisah. Artefak akhir yang benar tidak boleh menutupi dampak sampingan yang tidak aman—itulah pelajaran utama dari hasil AgentS4D. 1
2
Ulangi pengujian setiap kali konfigurasi berubah
Target yang disetujui bukan label permanen seperti “agent DeepSeek V4 Pro”, melainkan konfigurasi yang telah dikunci. Jalankan kembali rangkaian pengujian khusus konfigurasi setelah ada perubahan material pada:
- model atau rute provider;
- pengaturan inferensi atau tingkat effort;
- prompt sistem atau adapter;
- logika harness atau sesi;
- tools atau server tool jarak jauh;
- kebijakan izin dan persetujuan;
- routing kredensial;
- perilaku memori, retry, timeout, atau konkurensi;
- batas jaringan atau filesystem.
Dengan pendekatan ini, keamanan runtime berubah dari asumsi luas tentang kualitas model menjadi keputusan rilis yang terukur—dan terikat pada lingkungan persis yang dapat menimbulkan dampak di dunia nyata.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Keamanan Agent DeepSeek V4 Pro Bergantung pada Harness, Bukan Model Saja"?
DeepSeek V4 Pro sebaiknya diperlakukan sebagai komponen agent, bukan batas keamanan.
Apa poin penting yang harus divalidasi terlebih dahulu?
DeepSeek V4 Pro sebaiknya diperlakukan sebagai komponen agent, bukan batas keamanan. Evaluasi harus mencakup konfigurasi yang dikunci: model, harness, prompt sistem, tools, izin, logika sesi, memori, kebijakan retry, serta batas filesystem dan jaringan.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Kurangi dampak kesalahan dengan identitas berhak akses minimum, kredensial terlindungi, otorisasi di sisi server, persetujuan untuk tindakan berisiko tinggi, isolasi state, dan pengujian adversarial yang dapat diaudit.