Apa yang cuba diselesaikan oleh SAFE?

Dalam keselamatan AI, organisasi sering menemui serangan, kegagalan atau hampir-insiden secara berasingan. Pada masa yang sama, syarikat lain mungkin berdepan risiko serupa tanpa mengetahui pengajaran yang telah diperoleh pihak terdahulu.

Draf SAFE memfokuskan empat amalan utama:

• mengumpul dan menganalisis insiden serta hampir-insiden keselamatan AI secara sulit;
• memaklumkan organisasi yang terjejas apabila sesuatu insiden berkaitan dengan mereka;
• mengenal pasti kelemahan berulang dalam kawalan dan amalan keselamatan; dan
• menghasilkan pengajaran berasaskan bukti tanpa menyalahkan mana-mana pihak, supaya boleh digunakan merentas ekosistem.

Matlamatnya ialah menukar kegagalan individu menjadi risikan pertahanan bersama. Dengan proses seperti ini, insiden termasuk serangan suntikan arahan (prompt injection), kebocoran data atau tindakan ejen yang menyimpang tidak perlu dilihat sebagai kes terpencil yang memaksa setiap organisasi bermula dari kosong.

OSAA sedang membina lapisan keselamatan, bukan satu produk

SAFE hanyalah satu bahagian daripada pendekatan OSAA. Gabungan itu turut menghimpunkan teknologi sumber terbuka dan boleh diperiksa, dengan setiap projek menyasarkan lapisan keselamatan ejen AI yang berbeza.

Antara sumbangan yang dilaporkan ialah:

• Nvidia: keluarga model dengan pemberat terbuka, kawalan masa jalan OpenShell untuk mengehadkan perkara yang boleh dicapai atau dilakukan oleh ejen, alat pengujian dan pengauditan ejen, serta Garak, pengimbas sumber terbuka untuk risiko seperti kebocoran data, suntikan arahan dan jailbreak.
• Okta: pelaksanaan rujukan bagi identiti dan akses ejen menggunakan protokol Cross App Access, dengan tujuan menghubungkan ejen kepada aplikasi perusahaan dalam persekitaran yang lebih terkawal.
• Red Hat: asago, projek sumber terbuka untuk menghubungkan dasar organisasi dengan kebenaran masa jalan serta mewujudkan jejak yang boleh diaudit daripada dasar kepada kawalan.
• Amazon: Strands Agents, kit sumber terbuka untuk membina dan menilai ejen, bersama Cedar, bahasa autorisasi.
• Ahli lain: projek berfokuskan identiti seperti Agent Guard dan Agent Watch, yang mencerminkan keperluan mengawal identiti, kebenaran, rangka kerja ejen, tingkah laku masa jalan, penilaian, data, tadbir urus dan daya tahan — bukan sekadar mengimbas model.

Jika matang, gabungan komponen ini berpotensi menyediakan set kawalan sumber terbuka yang lebih seragam untuk perusahaan mengehadkan dan memantau ejen AI, termasuk ejen yang bertindak secara berniat jahat atau keluar daripada skop tugasnya. Namun, hasil itu masih kemungkinan, bukan pencapaian yang telah disahkan.

Siapa yang menyertai OSAA?

Laporan menyebut OSAA mempunyai lebih 120 organisasi dalam minggu pertamanya. Antara peserta utama yang dinamakan ialah Nvidia, Adobe, BlackRock, Cisco, CrowdStrike, Hugging Face, Intel, Microsoft, Red Hat dan Visa. Amazon pula dilaporkan sebagai anggota yang lebih baharu.

OSAA muncul selepas surat terbuka pada 24 Julai yang menggesa pembuat dasar Amerika Syarikat supaya tidak mengenakan sekatan luas atau terlalu awal terhadap model AI dengan pemberat terbuka. Surat itu pada asalnya disokong 25 syarikat, termasuk Nvidia, Microsoft, Meta, IBM, Dell, Palantir dan Hugging Face. Hujahnya: menyekat model yang boleh dimuat turun boleh menjejaskan persaingan dan mendorong lebih ramai pengguna kepada sistem AI China ketika Washington menimbangkan tindak balas berkaitan keselamatan negara.

Pada masa laporan Black Hat diterbitkan, Anthropic, OpenAI dan Google merupakan antara syarikat AI utama yang tidak dilaporkan menyertai OSAA. Hubungan mereka dengan surat dasar itu bagaimanapun tidak begitu jelas. Sesetengah laporan menyatakan OpenAI dan Google kemudian ditambah sebagai penandatangan, manakala laporan lain menggambarkan kedua-duanya tidak termasuk dalam kumpulan asal.

Sumber yang ada tidak menjelaskan sebab syarikat-syarikat tersebut belum menyertai OSAA. Oleh itu, ketiadaan mereka tidak wajar dikaitkan dengan sebarang motif tertentu.

Mengapa kepantasan ini penting?

Cadangan utama OSAA ialah keterbukaan dan keselamatan tidak semestinya bertentangan. Model, alat, penilaian dan pengajaran insiden yang terbuka boleh membolehkan lebih ramai pasukan pertahanan memeriksa kegagalan, mengulangi kelemahan dan menyesuaikan pembaikan. SAFE cuba mengimbangi ketelusan itu dengan kerahsiaan ketika insiden dikumpul dan dianalisis, sebelum pengajaran umum yang telah digeneralisasikan dikongsi dengan lebih luas.

Komposisi ahlinya yang merentas industri juga berpotensi membantu mewujudkan antara muka dan amalan bersama antara pembangun model, penyedia awan serta infrastruktur, pakar identiti, syarikat keselamatan dan pengguna perusahaan. Jika usaha ini berkembang, sistem AI terbuka mungkin menjadi lebih mudah dinilai, dikawal dan digunakan secara bertanggungjawab.

Perkembangan itu boleh mengukuhkan hujah dasar bahawa AI dengan pemberat terbuka ialah isu daya saing Amerika Syarikat, khususnya ketika pembuat dasar negara itu membahaskan cara menangani makmal AI China. Tetapi OSAA belum membuktikan bahawa ia telah meningkatkan daya saing AS atau mengurangkan risiko AI sistemik.

Setakat ini, pencapaian yang boleh diukur lebih sederhana tetapi jelas: gabungan lebih 120 organisasi itu telah bergerak daripada advokasi AI terbuka kepada draf awam untuk penyelarasan laporan keselamatan AI, sambil ahlinya menyumbang alat yang berpotensi membentuk lapisan pertahanan lebih serasi pada masa depan.

Apa yang cuba diselesaikan oleh SAFE?

Dalam keselamatan AI, organisasi sering menemui serangan, kegagalan atau hampir-insiden secara berasingan. Pada masa yang sama, syarikat lain mungkin berdepan risiko serupa tanpa mengetahui pengajaran yang telah diperoleh pihak terdahulu.

Draf SAFE memfokuskan empat amalan utama:

• mengumpul dan menganalisis insiden serta hampir-insiden keselamatan AI secara sulit;
• memaklumkan organisasi yang terjejas apabila sesuatu insiden berkaitan dengan mereka;
• mengenal pasti kelemahan berulang dalam kawalan dan amalan keselamatan; dan
• menghasilkan pengajaran berasaskan bukti tanpa menyalahkan mana-mana pihak, supaya boleh digunakan merentas ekosistem.

Matlamatnya ialah menukar kegagalan individu menjadi risikan pertahanan bersama. Dengan proses seperti ini, insiden termasuk serangan suntikan arahan (prompt injection), kebocoran data atau tindakan ejen yang menyimpang tidak perlu dilihat sebagai kes terpencil yang memaksa setiap organisasi bermula dari kosong.

OSAA sedang membina lapisan keselamatan, bukan satu produk

SAFE hanyalah satu bahagian daripada pendekatan OSAA. Gabungan itu turut menghimpunkan teknologi sumber terbuka dan boleh diperiksa, dengan setiap projek menyasarkan lapisan keselamatan ejen AI yang berbeza.

Antara sumbangan yang dilaporkan ialah:

• Nvidia: keluarga model dengan pemberat terbuka, kawalan masa jalan OpenShell untuk mengehadkan perkara yang boleh dicapai atau dilakukan oleh ejen, alat pengujian dan pengauditan ejen, serta Garak, pengimbas sumber terbuka untuk risiko seperti kebocoran data, suntikan arahan dan jailbreak.
• Okta: pelaksanaan rujukan bagi identiti dan akses ejen menggunakan protokol Cross App Access, dengan tujuan menghubungkan ejen kepada aplikasi perusahaan dalam persekitaran yang lebih terkawal.
• Red Hat: asago, projek sumber terbuka untuk menghubungkan dasar organisasi dengan kebenaran masa jalan serta mewujudkan jejak yang boleh diaudit daripada dasar kepada kawalan.
• Amazon: Strands Agents, kit sumber terbuka untuk membina dan menilai ejen, bersama Cedar, bahasa autorisasi.
• Ahli lain: projek berfokuskan identiti seperti Agent Guard dan Agent Watch, yang mencerminkan keperluan mengawal identiti, kebenaran, rangka kerja ejen, tingkah laku masa jalan, penilaian, data, tadbir urus dan daya tahan — bukan sekadar mengimbas model.

Jika matang, gabungan komponen ini berpotensi menyediakan set kawalan sumber terbuka yang lebih seragam untuk perusahaan mengehadkan dan memantau ejen AI, termasuk ejen yang bertindak secara berniat jahat atau keluar daripada skop tugasnya. Namun, hasil itu masih kemungkinan, bukan pencapaian yang telah disahkan.

Siapa yang menyertai OSAA?

Laporan menyebut OSAA mempunyai lebih 120 organisasi dalam minggu pertamanya. Antara peserta utama yang dinamakan ialah Nvidia, Adobe, BlackRock, Cisco, CrowdStrike, Hugging Face, Intel, Microsoft, Red Hat dan Visa. Amazon pula dilaporkan sebagai anggota yang lebih baharu.

OSAA muncul selepas surat terbuka pada 24 Julai yang menggesa pembuat dasar Amerika Syarikat supaya tidak mengenakan sekatan luas atau terlalu awal terhadap model AI dengan pemberat terbuka. Surat itu pada asalnya disokong 25 syarikat, termasuk Nvidia, Microsoft, Meta, IBM, Dell, Palantir dan Hugging Face. Hujahnya: menyekat model yang boleh dimuat turun boleh menjejaskan persaingan dan mendorong lebih ramai pengguna kepada sistem AI China ketika Washington menimbangkan tindak balas berkaitan keselamatan negara.

Pada masa laporan Black Hat diterbitkan, Anthropic, OpenAI dan Google merupakan antara syarikat AI utama yang tidak dilaporkan menyertai OSAA. Hubungan mereka dengan surat dasar itu bagaimanapun tidak begitu jelas. Sesetengah laporan menyatakan OpenAI dan Google kemudian ditambah sebagai penandatangan, manakala laporan lain menggambarkan kedua-duanya tidak termasuk dalam kumpulan asal.

Sumber yang ada tidak menjelaskan sebab syarikat-syarikat tersebut belum menyertai OSAA. Oleh itu, ketiadaan mereka tidak wajar dikaitkan dengan sebarang motif tertentu.

Mengapa kepantasan ini penting?

Cadangan utama OSAA ialah keterbukaan dan keselamatan tidak semestinya bertentangan. Model, alat, penilaian dan pengajaran insiden yang terbuka boleh membolehkan lebih ramai pasukan pertahanan memeriksa kegagalan, mengulangi kelemahan dan menyesuaikan pembaikan. SAFE cuba mengimbangi ketelusan itu dengan kerahsiaan ketika insiden dikumpul dan dianalisis, sebelum pengajaran umum yang telah digeneralisasikan dikongsi dengan lebih luas.

Komposisi ahlinya yang merentas industri juga berpotensi membantu mewujudkan antara muka dan amalan bersama antara pembangun model, penyedia awan serta infrastruktur, pakar identiti, syarikat keselamatan dan pengguna perusahaan. Jika usaha ini berkembang, sistem AI terbuka mungkin menjadi lebih mudah dinilai, dikawal dan digunakan secara bertanggungjawab.

Perkembangan itu boleh mengukuhkan hujah dasar bahawa AI dengan pemberat terbuka ialah isu daya saing Amerika Syarikat, khususnya ketika pembuat dasar negara itu membahaskan cara menangani makmal AI China. Tetapi OSAA belum membuktikan bahawa ia telah meningkatkan daya saing AS atau mengurangkan risiko AI sistemik.

Setakat ini, pencapaian yang boleh diukur lebih sederhana tetapi jelas: gabungan lebih 120 organisasi itu telah bergerak daripada advokasi AI terbuka kepada draf awam untuk penyelarasan laporan keselamatan AI, sambil ahlinya menyumbang alat yang berpotensi membentuk lapisan pertahanan lebih serasi pada masa depan.