Bagaimana OpenAI Mengesan Penyalahgunaan AI Tanpa Membaca Kandungan Pelanggan

Perbezaan pentingnya ialah antara menganalisis dan menyimpan data. Private Safety Processing direka untuk menganalisis aktiviti berkaitan bagi tujuan keselamatan, tetapi OpenAI berkata prompt dan respons model yang menjadi asas analisis itu tidak didedahkan kepada kakitangannya melalui sistem tersebut.

OpenAI menerangkan dua kemungkinan susunan kawalan data untuk penggunaan ZDR:

• Kandungan pelanggan boleh kekal pada infrastruktur yang dikawal oleh pelanggan.
• Dalam susunan storan yang dihoskan oleh OpenAI, kandungan boleh disulitkan menggunakan kunci yang dikawal pelanggan, bukan kunci yang dimiliki kakitangan OpenAI.

Dalam kedua-dua keadaan, sistem automatik boleh mengenal pasti kemungkinan penyalahgunaan dan menghantar isyarat keselamatan yang terhad tanpa mendedahkan prompt atau respons yang mendasarinya.

Apakah yang diterima OpenAI apabila ancaman dikesan?

Menurut penerangan pratonton itu, OpenAI menerima amaran yang skopnya terhad dan menunjukkan jenis aktiviti yang terlibat. Rajah sistem OpenAI menggambarkan output tersebut sebagai kategori amaran dan tahap keterukan, bukannya kandungan perbualan.

Isyarat itu boleh digunakan untuk menyokong keputusan keselamatan atau penguatkuasaan, tetapi ia tidak sama dengan menghantar keseluruhan sejarah sesi kepada OpenAI. Secara ringkas, prosesnya ialah:

1. Sistem automatik meneliti interaksi berkaitan untuk mencari corak yang berpotensi berbahaya.
2. Jika corak itu melepasi ambang risiko, sistem menghasilkan klasifikasi keselamatan yang terhad.
3. OpenAI menerima klasifikasi tersebut, bukan prompt, output atau transkrip perbualan.
4. Pelanggan kekal boleh menyiasat aktiviti asas itu dalam persekitarannya sendiri.

Oleh sebab ciri ini masih dalam pratonton, pelaksanaan sebenar, ambang pengesanan dan prosedur menangani kesilapan akan menjadi perkara penting bagi pembeli perusahaan. OpenAI berkata ia merancang pelancaran yang lebih meluas serta kertas putih teknikal pada September 2026.

Mengapa kakitangan OpenAI biasanya tidak boleh membaca perbualan yang ditanda?

Tanda keselamatan tidak secara automatik memberikan kakitangan OpenAI akses kepada perbualan tersebut. Di bawah susunan ZDR yang diterangkan, OpenAI berkata ia tidak menyimpan kandungan pelanggan atau memiliki kunci penyahsulitan pelanggan dalam reka bentuk storan yang dihoskan oleh OpenAI.

Pelanggan boleh memilih untuk berkongsi bahan berkaitan jika mahu membuat rayuan terhadap tindakan penguatkuasaan, menjelaskan penggunaan yang sah atau membantu menyiasat penyalahgunaan yang disahkan. Tanpa pendedahan secara sukarela itu, tanda tersebut hanya memberikan OpenAI maklumat keselamatan yang dijana mesin—bukan akses kepada kandungan perbualan.

Ini mewujudkan pemisahan antara bukti yang dikawal pelanggan dengan isyarat risiko di peringkat penyedia. Pendekatan itu berpotensi mengurangkan jumlah maklumat sensitif yang perlu dikendalikan oleh penyedia, sambil membantu mengesan corak yang mungkin terlepas daripada penapis yang hanya memeriksa satu permintaan pada satu-satu masa.

Siapakah pelanggan awal yang menguji ciri ini?

OpenAI menamakan Glean, Databricks, Abridge dan Microsoft sebagai antara pelanggan yang membantu membentuk atau menguji pratonton tersebut. Laporan lain turut mengenal pasti Microsoft dan Databricks sebagai pelanggan awal yang terlibat dalam ujian.

Ciri ini bukan tetapan pengguna umum. Ia menyasarkan penggunaan API perusahaan yang layak, khususnya organisasi yang mahu menggunakan model lanjutan sambil mengekalkan kawalan ketat terhadap prompt dan output mereka.

OpenAI berbanding Anthropic: dua pertukaran keselamatan yang berbeza

Pendekatan OpenAI mengutamakan pengesanan penyalahgunaan sambil mengehadkan akses penyedia kepada kandungan pelanggan. Dasar model tertentu Anthropic pula membuat pertukaran yang berbeza: prompt dan output yang dihantar kepada model terbabit disimpan selama 30 hari untuk menyokong kerja keselamatan, termasuk semakan terkawal.

Dokumentasi Anthropic menyatakan keperluan 30 hari itu terpakai kepada model yang dilindungi, termasuk model kelas Mythos, dan model tersebut tidak tersedia di bawah ZDR. Anthropic juga menyatakan data yang disimpan tidak digunakan untuk melatih model tanpa kebenaran nyata pelanggan.

Perbezaan operasi antara kedua-dua pendekatan ini adalah ketara:

• Private Safety Processing OpenAI: menganalisis interaksi berkaitan secara automatik dan, menurut penerangan pratonton, menghantar isyarat keselamatan terhad kepada OpenAI tanpa mendedahkan kandungan asas.
• Dasar model tertentu Anthropic: menyimpan prompt dan output selama 30 hari supaya ia boleh digunakan untuk kerja keselamatan dan semakan terkawal.

Kedua-dua pendekatan tidak menghapuskan keperluan untuk tadbir urus di pihak pelanggan. Pembeli masih perlu menyemak syarat kelayakan, seni bina penggunaan, kawalan akses, terma penyimpanan, keperluan serantau, proses rayuan dan komitmen kontrak sebelum menggunakan mana-mana pilihan bagi beban kerja sensitif.

Mengapa perbezaan ini penting bagi perusahaan terkawal?

Organisasi dalam sektor kewangan, penjagaan kesihatan dan undang-undang lazimnya mengendalikan maklumat yang tertakluk kepada kerahsiaan kontrak, kawalan privasi, kewajipan profesional atau keperluan khusus industri. Keupayaan penyedia untuk menyimpan dan berpotensi menyemak prompt boleh mempengaruhi analisis pengurangan data, kelulusan dalaman, reka bentuk audit serta penilaian risiko vendor.

Ini tidak bermakna dasar penyimpanan 30 hari semestinya dilarang, dan ZDR sahaja tidak secara automatik menjadikan sesuatu penggunaan mematuhi semua peraturan. Sebaliknya, kedua-dua reka bentuk menghasilkan persoalan yang berbeza untuk pasukan keselamatan dan undang-undang. Terma model tertentu Anthropic memerlukan organisasi mengambil kira penyimpanan dan semakan oleh penyedia, manakala OpenAI meletakkan ZDR dan Private Safety Processing sebagai cara mengehadkan akses penyedia kepada kandungan itu sendiri.

Bagi pembeli perusahaan, soalan yang paling praktikal termasuk:

• Adakah model dan kaedah penggunaan itu layak untuk ZDR?
• Di manakah kandungan diproses dan, jika disimpan, siapa yang mengawal kunci penyulitan?
• Apakah medan sebenar yang muncul dalam amaran keselamatan?
• Bolehkah pelanggan mengaudit atau mencabar tanda keselamatan tanpa mendedahkan keseluruhan perbualan?
• Apakah yang berlaku apabila penyedia mengesyaki penyalahgunaan serius?
• Adakah terma penyimpanan dan semakan penyedia selaras dengan kewajipan kontrak serta peraturan organisasi?

Implikasi produk yang lebih besar

Private Safety Processing menjadikan privasi sebahagian daripada produk keselamatan AI itu sendiri. Cabarannya bukan lagi sekadar sama ada model boleh menyekat permintaan berbahaya. Persoalan yang lebih besar ialah sama ada penyedia boleh mengesan penyalahgunaan terselaras merentas aliran kerja yang panjang tanpa perlu mengakses setiap perbualan pelanggan.

Pratonton OpenAI menawarkan satu jawapan: kekalkan kandungan asas di bawah kawalan pelanggan atau lindunginya menggunakan kunci yang dipegang pelanggan, gunakan sistem automatik untuk mengenal pasti corak merentas interaksi, kemudian hantar klasifikasi risiko yang terhad kepada penyedia.

Dasar model tertentu Anthropic menawarkan jawapan yang lain: simpan prompt dan output berkaitan untuk tempoh terhad supaya pasukan keselamatan boleh menyiasatnya, dengan semakan terkawal serta had yang dinyatakan terhadap penggunaannya bagi latihan model.

Pilihan antara kedua-dua model ini bergantung pada toleransi risiko pelanggan, tahap sensitiviti beban kerja dan sejauh mana mereka merasakan penyedia model AI termaju memerlukan keterlihatan untuk menjalankan siasatan. Kertas putih teknikal serta pelancaran lebih meluas yang dijanjikan OpenAI kelak akan memberikan butiran penting untuk menilai sama ada tuntutan privasi itu benar-benar bertahan dalam penggunaan perusahaan.