AnswersPublished24 sources
OpenAI mahu penilai bebas menguji keselamatan model AI sejak fasa latihan
OpenAI berkata organisasi bebas akan diberi akses lebih mendalam untuk menilai keselamatan model AI termaju ketika latihan, penilaian dan penggunaan, bukan hanya menjelang pelancaran. Empat syarat yang diketengahkan ialah kebebasan kukuh, ketelitian saintifik, amalan keselamatan maklumat yang teguh dan tanggungjawab...
Diterbitkan olehDisunting dengan GPT-5.6 TerraImej dijana dengan GPT Image 2
Research answer
Key takeaways
- OpenAI berkata organisasi bebas akan diberi akses lebih mendalam untuk menilai keselamatan model AI termaju ketika latihan, penilaian dan penggunaan, bukan hanya menjelang pelancaran.
- Empat syarat yang diketengahkan ialah kebebasan kukuh, ketelitian saintifik, amalan keselamatan maklumat yang teguh dan tanggungjawab yang jelas.
- Pengkritik menegaskan semakan sukarela tidak menjadi pengawasan benar benar bebas jika syarikat masih mengawal akses, pembiayaan, penyuntingan dapatan dan keputusan pelancaran.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is OpenAI’s new plan to allow independent organizations to conduct technical safety assessments earlier in the training, evaluation, an. Article summary: OpenAI says it will give independent organizations deeper, earlier access to frontier models so they can perform technical safety assessments during training, evaluation, and deployment—not merely shortly before release.. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
OpenAI berkata ia akan menyokong penilaian teknikal keselamatan oleh pihak bebas pada peringkat lebih awal dalam kitaran hayat model AI termaju (frontier AI): ketika latihan, penilaian dan penggunaan, bukan sekadar pada saat akhir sebelum sesuatu model dilancarkan. Matlamatnya ialah memberi organisasi luar akses yang mencukupi untuk menguji tuntutan keselamatan, mengesan titik buta dan menilai sama ada langkah mitigasi benar-benar berkesan. 5
Ini meluaskan amalan biasa ujian pasukan merah (red teaming) sebelum pelancaran. Namun, rangka kerja yang diumumkan kepada umum masih bersifat sukarela — bukannya sistem pelesenan luar atau syarat mengikat yang memaksa syarikat menghentikan pelancaran. Jadi, keberkesanannya akan bergantung pada syarat akses, kebebasan penilai dan apa yang berlaku apabila mereka menemui risiko serius.
Apa yang akan dinilai oleh pihak ketiga
Menurut OpenAI, penilaian pihak ketiga bertujuan menguji secara bebas bukti di sebalik tuntutan tentang keupayaan, risiko dan perlindungan bagi model AI termaju. Syarikat itu menyatakan penilai perlu mendapat akses mendalam merentasi latihan, penilaian dan penggunaan. 5
Laporan mengenai rangka kerja tersebut menyebut antara keutamaannya ialah penilaian bebas terhadap “kes keselamatan” sesebuah makmal AI, meliputi latihan, penggunaan dalaman dan penggunaan luaran. Rangka kerja itu turut menggariskan empat bidang penilaian serta tujuh prinsip operasi; makmal diberi masa untuk membaiki penemuan sebelum diterbitkan dan boleh meminta penyuntingan maklumat tertentu. 2
Akses awal penting kerana semakan yang dibuat hanya di penghujung pembangunan mungkin menemui masalah ketika keputusan teknikal dan komersial besar sudah sukar diubah. Pada masa sama, akses awal kepada model juga boleh mendedahkan pemberat model, keupayaan atau bahan ujian yang sensitif. Sebab itu, program penilaian perlu mengurus risiko keselamatan maklumat dengan teliti.
Empat syarat agar semakan boleh dipercayai
OpenAI menyenaraikan empat keperluan utama untuk penilaian pihak ketiga yang berkesan: mekanisme kebebasan yang kukuh, ketelitian saintifik, amalan keselamatan yang teguh dan tanggungjawab yang jelas. 5
Kebebasan
Penilaian tidak benar-benar bebas jika pembangun model boleh menentukan kaedah ujian, mengehadkan akses selepas menerima dapatan yang tidak menyenangkan, atau menamatkan pembiayaan kerana tidak menyukai kesimpulannya. Maka, kebebasan bukan semata-mata soal penilai bekerja di luar syarikat; ia juga melibatkan tadbir urus, pembiayaan, skop kerja dan komunikasi.
Gabungan penilai AI turut menuntut kebebasan yang substantif, termasuk perlindungan daripada kawalan syarikat yang dinilai serta kuasa menerbitkan dapatan utama, tertakluk hanya kepada penyuntingan yang sempit dan jelas takrifnya. 17
34
Ketelitian saintifik
Penilaian memerlukan pakar yang berkelayakan, kaedah yang sah dan bukti yang boleh diperiksa atau diulang semula. AI Safety Index oleh Future of Life Institute menyatakan metodologi dan kebebasan penilaian perlu diperkukuh, termasuk penggunaan penilai luar yang benar-benar bebas, bukan penilaian berpecah-pecah dengan kesahan yang lemah. 8
12
Keselamatan
Memberi akses awal kepada pihak luar terhadap sistem AI termaju juga boleh mencipta risiko baharu. OpenAI menyatakan pembangun perlu membolehkan penelitian yang bermakna sambil melindungi maklumat sensitif. 5 Kawalan keselamatan sepatutnya menghadkan pendedahan yang tidak perlu, bukan menjadi alasan umum untuk menghalang penilaian atau menyembunyikan dapatan penting.
Tanggungjawab dan akauntabiliti yang jelas
Proses yang diyakini memerlukan peranan yang jelas: siapa menyediakan akses, siapa memilih kaedah, siapa menerima dapatan, siapa menentukan sama ada mitigasi mencukupi, dan apa tindakan jika isu serius masih belum selesai. Laluan pelaporan serta eskalasi juga perlu nyata; jika tidak, penilaian mungkin sekadar nasihat yang boleh diketepikan secara senyap oleh pihak pengurusan.
Bukan penyelesaian kepada masalah penjajaran AI
Penilaian pihak ketiga ialah mekanisme pengawasan, bukannya penyelesaian teknikal kepada masalah penjajaran AI (alignment) — iaitu usaha memastikan sistem AI bertindak selaras dengan matlamat dan kawalan manusia. Fungsinya adalah menguji sama ada dakwaan syarikat mengenai risiko dan langkah mitigasi benar-benar disokong oleh bukti.
Secara berasingan, pelan dasar persekutuan OpenAI menyebut pembangun AI termaju wajar menilai dan mengurangkan risiko berkaitan keupayaan siber, risiko CBRN (kimia, biologi, radiologi dan nuklear), kehilangan kawalan, salah jajaran dan kemajuan ke arah penambahbaikan kendiri berulang (recursive self-improvement, RSI). Pelan itu juga menyeru rangka kerja keselamatan awam dan laporan ketelusan, dengan penyuntingan yang bersesuaian demi keselamatan serta maklumat proprietari. 7
Dalam konteks ini, penilai luar boleh membantu mengesahkan sama ada ujian dan perlindungan pembangun itu kukuh. Namun, mereka tidak dapat menyelesaikan sendiri risiko kehilangan kawalan, salah jajaran atau RSI.
Perbezaan dengan penilai terbina dalam Anthropic
Ketua Pegawai Eksekutif Anthropic, Dario Amodei, mencadangkan model yang lebih berterusan: penilai keselamatan pihak ketiga ditempatkan dalam makmal AI termaju dengan akses berterusan seperti pekerja. Mereka bukan sekadar menilai model siap, tetapi turut meneliti aliran latihan, amalan penggunaan, perlindungan dalaman dan insiden keselamatan yang penting. 18
21
Anthropic telah mengumumkan pengaturan yang membolehkan kakitangan Accenture ditempatkan dalam syarikat itu untuk meneliti model serta amalan syarikat, sambil berbincang mengenai projek rintis dengan organisasi lain. Anthropic juga mengakui standard bagi akses dan komunikasi penilai belum ditetapkan. 19
22
Rangka kerja OpenAI bertindih dengan matlamat ini dari segi membuka penelitian yang lebih awal dan mendalam. Namun, penerangan awamnya tertumpu pada penilaian teknikal di sepanjang peringkat pembangunan. Sama ada ia akan menawarkan akses berterusan seperti model penilai terbina dalam masih bergantung pada butiran pelaksanaan yang belum dihuraikan sepenuhnya. 5
Mengapa piawaian industri turut diperdebatkan
Beberapa laporan menunjukkan Anthropic, OpenAI dan Google DeepMind telah berbincang tentang badan piawaian keselamatan AI bersama yang bersifat sukarela. 20 Piawaian yang dikongsi boleh memudahkan perbandingan kaedah penilaian, penetapan ambang risiko dan jangkaan yang lebih seragam bagi pelaporan insiden.
Tetapi sebuah badan piawaian tidak secara automatik menyelesaikan konflik kepentingan atau mewujudkan penguatkuasaan. Piawaian sukarela paling bermakna jika digabungkan dengan ukuran telus, pengesahan bebas dan akibat yang nyata bagi ketidakpatuhan.
Mengapa pengkritik masih ragu-ragu
Pengkritik tidak semestinya menolak ujian luar. Kebimbangan mereka ialah pengaturan yang masih dikawal syarikat mungkin gagal menghasilkan pengawasan yang benar-benar bebas. Pembangun model berpotensi memilih penilai, menentukan akses, melengahkan kerja, meminta penyuntingan atau meneruskan pelancaran walaupun menerima dapatan negatif.
Antara isu utama yang dibangkitkan:
- Pembiayaan dan kebebasan institusi: Penilai perlu dilindungi daripada tekanan kewangan atau penamatan kontrak selepas membuat kesimpulan yang tidak memihak kepada syarikat.
17
34
- Akses yang mencukupi dan tepat pada masanya: Ujian mesti mencapai model, sistem dan keputusan pembangunan yang relevan cukup awal untuk mempengaruhi hasilnya.
- Kebebasan menyampaikan dapatan: Penyuntingan atas sebab keselamatan boleh wajar, tetapi perlu terhad dan ditadbir oleh peraturan yang tidak membolehkan syarikat menyembunyikan inti pati dapatan buruk.
2
- Eskalasi dan tindakan susulan: Semakan mesti mempunyai saluran kepada pembuat keputusan serta tindak balas yang ditetapkan apabila risiko melepasi sesuatu ambang.
Bekas penyelidik OpenAI, Daniel Kokotajlo, mengkritik makmal AI terkemuka sebagai bergerak pantas demi bahagian pasaran, mencerminkan kebimbangan lebih luas bahawa tekanan persaingan dan kewangan menjadikan kelewatan secara sukarela mahal untuk dilakukan. 36
40 Isunya bersifat struktur: jika syarikat mengekalkan kawalan sepihak terhadap akses, penerbitan dan keputusan penggunaan, semakan pihak ketiga mungkin memperbaiki bukti keselamatan — tetapi belum tentu menjadi pengawasan bebas.
Kesimpulannya
Cadangan OpenAI mengalihkan penilaian keselamatan ke peringkat lebih awal, ketika dapatan masih berpotensi membentuk keputusan latihan dan penggunaan model. Empat tonggaknya — kebebasan, ketelitian, keselamatan dan tanggungjawab jelas — ialah penanda aras yang munasabah. 5
Ujian sebenar ialah sama ada prinsip itu diterjemahkan kepada syarat operasi yang boleh dipertahankan: akses penilai yang berterusan, kebebasan metodologi, perlindungan untuk pelaporan, pengurusan penyuntingan yang telus dan proses yang diyakini untuk bertindak terhadap dapatan serius. Tanpa perlindungan itu, penilaian luar yang dibuat awal mungkin tetap berguna sebagai ujian pasukan merah — tetapi belum mencapai tahap pengawasan bebas yang diminta pengkritik.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "OpenAI mahu penilai bebas menguji keselamatan model AI sejak fasa latihan"?
OpenAI berkata organisasi bebas akan diberi akses lebih mendalam untuk menilai keselamatan model AI termaju ketika latihan, penilaian dan penggunaan, bukan hanya menjelang pelancaran.
What are the key points to validate first?
OpenAI berkata organisasi bebas akan diberi akses lebih mendalam untuk menilai keselamatan model AI termaju ketika latihan, penilaian dan penggunaan, bukan hanya menjelang pelancaran. Empat syarat yang diketengahkan ialah kebebasan kukuh, ketelitian saintifik, amalan keselamatan maklumat yang teguh dan tanggungjawab yang jelas.
What should I do next in practice?
Pengkritik menegaskan semakan sukarela tidak menjadi pengawasan benar benar bebas jika syarikat masih mengawal akses, pembiayaan, penyuntingan dapatan dan keputusan pelancaran.