Evolusi AI: Dari Program Berbasis Aturan hingga Agen yang Bisa Bertindak

Hal ini menimbulkan persoalan etika dalam bidang seperti kredit, rekrutmen, asuransi, dan layanan kesehatan. Data historis dapat mengulang bias sosial, sementara sistem penilaian yang sulit dipahami membuat keputusan lebih sulit digugat. Karena itu, tata kelola perlu mencakup tujuan yang jelas, pengujian akurasi dan keadilan pada kelompok yang relevan, perlindungan privasi, penjelasan keputusan, serta peninjauan manusia untuk keputusan berdampak besar. Kekhawatiran tentang bias, misinformasi, dan penyalahgunaan merupakan persoalan kebijakan AI secara luas, bukan hanya masalah chatbot.

2. AI generatif: dari memprediksi label menjadi membuat konten

AI generatif mengubah pengalaman pengguna dari pertanyaan “Ini termasuk kategori apa?” menjadi “Buat atau ubah sesuatu berdasarkan instruksi ini.” Model berukuran besar dapat menghasilkan teks, gambar, audio, dan kode yang tampak masuk akal. Teknologi ini mendukung penyusunan draf layanan pelanggan, penerjemahan, pembelajaran, peringkasan materi hukum, bantuan pemrograman, hingga pekerjaan kreatif.

AI generatif dapat memangkas waktu dan biaya untuk membuat draf pertama, menyediakan antarmuka percakapan untuk informasi yang rumit, serta membantu profesional alih-alih sekadar mengotomatiskan keputusan yang sudah ditentukan.

Kelemahan utama: terdengar meyakinkan bukan berarti benar

Model generatif dapat menghasilkan pernyataan, sumber, dasar hukum, klaim medis, atau kode yang dibuat-buat dan tidak akurat, tetapi disampaikan dengan nada percaya diri. NIST menggunakan istilah confabulation untuk “produksi konten yang salah atau keliru tetapi dinyatakan dengan penuh keyakinan”, yang sering disebut halusinasi.

Karena itu, verifikasi menjadi hal wajib ketika akurasi faktual penting. Langkah pengamanan dapat berupa pengambilan informasi dari sumber tepercaya, pencantuman sitasi, evaluasi terstruktur, pengujian khusus bidang, dan peninjauan oleh manusia yang kompeten. Jawaban yang fasih sebaiknya diperlakukan sebagai draf atau prediksi—bukan bukti bahwa klaim di dalamnya benar.

Risiko AI generatif yang lebih luas

AI generatif juga menimbulkan persoalan perlindungan data, hak kekayaan intelektual, misinformasi, dan asal-usul konten. Panduan Komisi Eropa untuk riset menyoroti risiko tersebut dan menegaskan bahwa manusia tetap bertanggung jawab atas karya yang mereka publikasikan, meskipun AI turut membantu prosesnya.

Di bidang pendidikan, persoalannya berkaitan dengan proses belajar. Jika siswa terus-menerus menyerahkan kegiatan menulis, bernalar, dan memecahkan masalah kepada AI, mereka mungkin memperoleh hasil yang rapi tetapi lebih jarang melatih keterampilan dasarnya. Panduan pendidikan mengidentifikasi konten yang tidak akurat atau bias, materi berbahaya, kebocoran data, pelanggaran kekayaan intelektual, dan tantangan integritas akademik sebagai risiko yang perlu dikelola.

Kegagalan pengamanan juga bisa lebih serius dalam percakapan sensitif. Sistem generatif dapat menghasilkan materi penuh kebencian, kekerasan, seksual, atau manipulatif, serta merespons dengan buruk ketika seseorang mengungkapkan niat menyakiti diri. NIST memasukkan rekomendasi berbahaya atau kekerasan, persoalan privasi, dan bias yang merugikan sebagai risiko yang perlu ditangani. Dalam situasi berisiko tinggi, AI tidak boleh menggantikan tenaga profesional atau mekanisme perlindungan manusia. Sistem perlu memiliki kemampuan menolak permintaan berbahaya, mengarahkan kasus ke manusia, melindungi privasi, dan menyediakan jalur bantuan manusia yang segera.

3. AI agentic: merencanakan, memakai alat, dan bertindak

AI agentic menambahkan sebuah siklus tindakan di sekitar model. Alih-alih hanya menjawab satu kali, agen dapat memahami tujuan, memecahnya menjadi beberapa langkah, memanggil alat seperti peramban, eksekutor kode, layanan email, atau API, memeriksa hasilnya, memperbaiki rencana, lalu melanjutkan pekerjaan.

Stanford mendeskripsikan AI agentic sebagai sistem otonom atau semiotonom yang dapat memahami tujuan, menyusun urutan tindakan, memakai alat, merespons umpan balik, dan beradaptasi untuk menyelesaikan tugas dalam batasan tertentu.

Perbedaan praktisnya cukup besar:

• sistem prediktif menilai sebuah transaksi;
• sistem generatif menyusun draf tanggapan tentang transaksi tersebut; dan
• agen, jika diberi akses yang diperlukan, dapat menyelidiki transaksi, memperbarui berkas kasus, dan mengirim pesan.

Google Jules menggambarkan penggunaan AI agentic dalam pengembangan perangkat lunak. Google menyebut Jules sebagai agen coding asinkron yang terhubung ke repositori, menyalin basis kode ke mesin virtual cloud, dan mengerjakan tugas pemrograman untuk kemudian ditinjau manusia. Agen sumber terbuka yang dapat memakai alat menawarkan pendekatan lain, sementara produk rekrutmen seperti LinkedIn Hiring Assistant menunjukkan bagaimana alur kerja agentic dapat diterapkan dalam pencarian kandidat dan perekrutan.

Agen menarik karena mampu menyelesaikan pekerjaan bertahap, bukan hanya menyarankan langkah berikutnya. Agen coding, misalnya, dapat menyelidiki bug, mengubah beberapa berkas, menjalankan pengujian, dan menyiapkan pull request. Agen alur kerja dapat mengumpulkan informasi, menatanya, lalu menyiapkan komunikasi untuk disetujui.

Mengapa otonomi meningkatkan risiko?

Kemampuan merencanakan tidak sama dengan pemahaman yang selalu dapat diandalkan. Agen dapat salah memahami halaman web, memilih rencana yang buruk, mengikuti instruksi berbahaya, atau memperbesar kesalahan kecil melalui banyak langkah. Laporan Stanford AI Index 2026 mencatat bahwa keberhasilan agen pada OSWorld—tolok ukur tugas komputer nyata—meningkat dari 12% menjadi sekitar 66%, tetapi agen masih gagal dalam kira-kira satu dari tiga percobaan.

Halusinasi pada chatbot mungkin berhenti sebagai masalah komunikasi. Namun, agen yang memiliki kredensial, akses peramban, atau kewenangan pembayaran dapat mengubah kesalahan serupa menjadi tindakan nyata. Karena itu, tata kelola agen harus memperhatikan bukan hanya kualitas keluaran, tetapi juga izin akses, kemampuan membatalkan tindakan, dan akuntabilitas.

Risiko keselamatan utama pada AI agentic

Risiko terbesar muncul ketika agen dapat memengaruhi sistem, uang, data, atau orang lain:

• Pembayaran tanpa izin: Agen dapat memilih barang yang keliru, melampaui anggaran, atau dimanipulasi oleh halaman web berbahaya.
• Kebocoran privasi dan pencurian data: Akses ke email, berkas, catatan pelanggan, kode sumber, atau kunci API membuka peluang pengungkapan data, termasuk melalui prompt injection.
• Kerusakan keamanan dan perangkat lunak: Agen dapat memasukkan kode yang tidak aman, mengubah konfigurasi, menghapus sumber daya, atau membocorkan rahasia melalui log dan alat eksternal.
• Kesenjangan akuntabilitas: Tanggung jawab dapat menjadi tidak jelas antara penyedia model, pengembang aplikasi, organisasi yang menerapkan sistem, penyedia alat, dan pengguna.
• Manipulasi: Agen yang persisten dan komunikatif dapat memengaruhi pengguna secara berlebihan, terutama ketika pengguna berada dalam kondisi rentan atau menganggap sistem lebih mampu dan tepercaya daripada kenyataannya.

Seperti apa tata kelola yang bertanggung jawab?

Pengamanan harus disesuaikan dengan kemampuan sistem dan dampak jika terjadi kegagalan.

Untuk AI prediktif, organisasi perlu menetapkan tujuan, mengukur akurasi dan keadilan, melindungi data pribadi, serta menyediakan penjelasan dan cara untuk menggugat keputusan yang berdampak besar.

Untuk AI generatif, organisasi perlu memverifikasi klaim penting, menguji halusinasi dan keluaran berbahaya, mengendalikan data sensitif, menangani persoalan asal-usul konten dan kekayaan intelektual, serta memastikan manusia yang kompeten tetap bertanggung jawab atas keputusan hukum, medis, keuangan, dan perlindungan keselamatan.

Untuk agen, pengendalian teknis dan organisasi perlu ditingkatkan:

1. Batasi kasus penggunaan. Tentukan hal-hal yang boleh dan tidak boleh dilakukan agen sebelum diterapkan.
2. Batasi akses. Gunakan kredensial dengan hak minimum, alat yang dibatasi, plafon transaksi, dan lingkungan sandbox.
3. Minta persetujuan pada titik penting. Tindakan finansial, hukum, privasi, dan keselamatan tidak boleh dilakukan tanpa otorisasi manusia yang sesuai.
4. Buat semua aktivitas dapat diaudit. Simpan log, pantau perilaku, dan tetapkan pihak yang bertanggung jawab atas insiden.
5. Lakukan pengujian adversarial. Uji prompt injection, eksfiltrasi data, perilaku berbahaya, dan kemampuan pemulihan sebelum serta selama penerapan.
6. Pertahankan kendali manusia. Manusia harus dapat menghentikan, mengambil alih, dan menggugat tindakan yang berdampak besar.

Otoritas Pengembangan Media Infokom Singapura atau IMDA merumuskan pendekatan berbasis risiko ini dalam Model AI Governance Framework for Agentic AI. Kerangka tersebut ditujukan bagi organisasi yang mengembangkan agen sendiri maupun menerapkan solusi pihak ketiga. Pelajaran utamanya adalah otonomi perlu dinaikkan secara bertahap: mulai dari bantuan baca-saja, berlanjut ke tindakan berisiko rendah, dan menyimpan tindakan yang tidak dapat dibatalkan atau berdampak besar untuk persetujuan manusia secara eksplisit.

Arah perkembangan AI

Evolusi AI lebih tepat dipahami sebagai tumpukan kemampuan yang terus meluas, bukan tiga era yang sepenuhnya terpisah. Sistem tradisional memprediksi dan mengklasifikasikan. Sistem generatif membuat dan mengubah konten. Sistem agentic menambahkan perencanaan, penggunaan alat, dan tindakan.

Tata kelola harus berkembang dengan kecepatan yang sama. Pengendalian akurasi dan keadilan tetap penting, tetapi tidak lagi cukup. Sistem generatif membutuhkan verifikasi, pelacakan asal-usul konten, dan pengamanan konten yang kuat. Agen juga membutuhkan batas izin, titik persetujuan, pemantauan keamanan, serta pembagian tanggung jawab yang jelas.

Semakin banyak hal yang dapat dilakukan AI secara mandiri, semakin hati-hati organisasi harus menentukan apa yang boleh dilakukan sistem tersebut.