AnswersPublished15 sources
Mengapa model AI sumber terbuka murah menjadi ancaman siber terbesar?
Meerah Rajavel berkata risiko paling segera mungkin datang daripada model AI open weight murah yang boleh dimuat turun, bukan model termaju yang aksesnya dikawal ketat. Apabila pemberat model didedahkan kepada umum, penyedia asal sukar memantau penggunaan, menarik balik akses, memasang kemas kini keselamatan atau me...
Diterbitkan olehDisunting dengan GPT-5.6 LunaImej dijana dengan GPT Image 1.5
Research answer
Key takeaways
- Meerah Rajavel berkata risiko paling segera mungkin datang daripada model AI open weight murah yang boleh dimuat turun, bukan model termaju yang aksesnya dikawal ketat.
- Apabila pemberat model didedahkan kepada umum, penyedia asal sukar memantau penggunaan, menarik balik akses, memasang kemas kini keselamatan atau menguatkuasakan kawalan.
- Kos GPU yang semakin rendah membolehkan model berkeupayaan tinggi dijalankan secara tempatan, sekali gus mengurangkan halangan untuk penyalahgunaan.
- Kajian Cisco mendapati serangan adversari berbilang pusingan terhadap lapan model open weight mencatat kadar kejayaan 2 hingga 10 kali lebih tinggi berbanding serangan satu pusingan.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Palo Alto Networks CIO Meerah Rajavel identify as the greatest cybersecurity threat facing organizations— inexpensive open source o. Article summary: Rajavel’s warning was that the more immediate organizational risk is not necessarily the tightly controlled frontier model, but a cheap, downloadable open weight model that is only a few months behind it in capability.. Topic tags: general web, ai safety, openai, llm, agents. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Ancaman yang dimaksudkan Rajavel
Meerah Rajavel, ketua pegawai maklumat (CIO) Palo Alto Networks, berkata ancaman keselamatan siber paling segera mungkin bukan datang daripada model AI termaju yang dikawal ketat oleh syarikat seperti OpenAI atau Anthropic. Sebaliknya, risikonya terletak pada model open-weight yang murah, boleh dimuat turun dan hanya ketinggalan beberapa bulan dari segi keupayaan.
Model open-weight ialah model yang pemberat atau parameter terlatihnya tersedia untuk digunakan dan dijalankan sendiri. Menurut amaran Rajavel, model seperti ini boleh menyamai keupayaan model termaju dalam tempoh kira-kira empat hingga enam bulan. Sebaik sahaja pemberatnya berada di tangan umum, keupayaan tersebut boleh digunakan dengan lebih meluas dan menjadi jauh lebih sukar untuk dipantau, dihadkan, dikemas kini atau ditarik balik oleh pembangunnya. 6
Mengapa model yang boleh dijalankan sendiri mengubah risikonya?
Model AI yang digunakan melalui API biasanya masih berada dalam “satah kawalan” penyedia. Penyedia boleh menyimpan log, mengesan penyalahgunaan, menetapkan had kadar penggunaan, menguatkuasakan polisi, mengemas kini ciri keselamatan dan menggantung akaun.
Namun, salinan model yang dimuat turun dan dijalankan secara tempatan berada di luar kawalan itu. Perlindungannya boleh diubah atau dibuang, manakala pembangunnya tidak semestinya dapat memasang tampalan atau membatalkan akses dari jauh. Dalam persekitaran perusahaan, penggunaan model tersebut juga mungkin tidak kelihatan kepada pasukan keselamatan—termasuk jika ia dijalankan oleh pekerja tanpa semakan dalaman.
Keupayaan serangan menjadi lebih murah dan berskala
Kos sewaan GPU yang menurun serta pilihan untuk menjalankan model pada infrastruktur sendiri mengurangkan halangan kewangan dan operasi kepada penyalahgunaan. Model berkeupayaan tinggi boleh digunakan untuk membantu peninjauan sasaran, pembangunan eksploit, pemancingan data, pengubahsuaian perisian hasad atau penyasaran automatik.
Kebimbangannya bukanlah bahawa setiap pengguna model open-weight berniat jahat. Isunya ialah penyebaran dan skala: lebih ramai pelaku boleh mengautomasikan serta mempercepatkan aktiviti siber yang berbahaya apabila model berkuasa tersedia secara umum. Penyelidikan mengenai risiko LLM open-weight turut memberi amaran bahawa ketersediaan awam boleh memperkasakan lebih banyak pihak untuk mengembangkan serangan siber. 2
Serangan berbilang pusingan boleh memanipulasi model
Risiko manipulasi juga bukan sekadar teori. Dalam penilaian Cisco terhadap lapan model AI open-weight, serangan adversari berbilang pusingan mencatat kadar kejayaan 2 hingga 10 kali lebih tinggi berbanding garis dasar serangan satu pusingan. Kadar kejayaan berbilang pusingan yang dilaporkan berada antara 25.86% hingga 92.78%. 3
Maksudnya, model yang menolak arahan berbahaya pada percubaan pertama masih boleh dipengaruhi melalui perbualan yang panjang—misalnya dengan menyusun semula permintaan, menguji had keselamatan dan meningkatkan tekanan secara berperingkat. Bagi organisasi, ujian keselamatan sekali lalu mungkin tidak cukup untuk menggambarkan risiko sebenar.
Risiko rantaian bekalan dan “keracunan” pemberat model
Organisasi yang memuat turun serta mengehos model sendiri bukan hanya perlu mempercayai model itu. Mereka juga perlu menilai fail model, format penukaran, templat, pelayan inferens dan semua kebergantungannya.
Cloud Security Alliance mendokumentasikan ancaman terhadap model yang dihos sendiri, termasuk logik boleh laku atau templat berniat jahat yang boleh dicetuskan ketika model dimuatkan. Dalam keadaan tertentu, kelemahan sebegini berpotensi membawa kepada pencurian kelayakan akses atau penyusupan data. 12
Bagaimanapun, dakwaan khusus bahawa satu penemuan CSA yang sama menamakan Llama, Mistral dan Qwen secara bersama tidak dapat disahkan secara bebas daripada sumber primer CSA yang tersedia. Oleh itu, rumusan tersebut wajar dianggap belum cukup disokong.
Pembetulan penting tentang angka Palo Alto Networks
Angka yang tersedia dalam penyerahan utama Palo Alto Networks menyatakan bahawa syarikat itu mengesan sehingga 8.9 juta serangan unik yang baharu atau belum pernah dilihat setiap hari, serta menyekat sehingga 30.9 bilion serangan setiap hari. 1
Ini berbeza daripada dakwaan bahawa Palo Alto Networks menyekat kira-kira 30 bilion serangan dan melihat 250 juta vektor serangan baharu sepanjang satu tahun kalendar. Angka harian tersebut menguatkan hujah umum Rajavel: pihak pertahanan sudah berdepan landskap serangan yang pantas berubah dan sangat pelbagai. Jika keupayaan AI yang hampir setanding dengan model termaju tersebar melalui model yang boleh diubah suai, kitaran percubaan dan penyesuaian penyerang berpotensi menjadi lebih singkat lagi.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Mengapa model AI sumber terbuka murah menjadi ancaman siber terbesar?"?
Meerah Rajavel berkata risiko paling segera mungkin datang daripada model AI open weight murah yang boleh dimuat turun, bukan model termaju yang aksesnya dikawal ketat.
What are the key points to validate first?
Meerah Rajavel berkata risiko paling segera mungkin datang daripada model AI open weight murah yang boleh dimuat turun, bukan model termaju yang aksesnya dikawal ketat. Apabila pemberat model didedahkan kepada umum, penyedia asal sukar memantau penggunaan, menarik balik akses, memasang kemas kini keselamatan atau menguatkuasakan kawalan.
What should I do next in practice?
Kos GPU yang semakin rendah membolehkan model berkeupayaan tinggi dijalankan secara tempatan, sekali gus mengurangkan halangan untuk penyalahgunaan.