Hanya 5 dari 45 sitasi yang dinilai akurat

Pemeriksaan GPTZero terhadap 45 sitasi dalam laporan menemukan kegagalan verifikasi yang sistematis :

• Hanya 5 sitasi yang mengarah secara akurat ke sumber nyata dan relevan.
• 28 sitasi menggunakan judul yang diparafrasekan atau diubah, dengan unsur fiktif yang ditempelkan pada publikasi nyata.
• 12 sitasi terlalu samar atau tidak konsisten untuk dilacak ke sumber yang ada.
• Sekitar separuh klaim substantif yang mengandalkan sitasi-sitasi tersebut tampak palsu atau salah atribusi.

Secara keseluruhan, 89% daftar pustaka ditandai bermasalah. Pemindaian deteksi AI GPTZero juga menilai dokumen tersebut 56% “mixed”, yang mengindikasikan kemungkinan konten dibuat atau banyak dibantu AI tanpa pemeriksaan manusia yang memadai .

Empat organisasi dicantumkan dalam studi kasus yang tak terbukti

Investigasi tersebut menemukan empat organisasi besar yang dikaitkan dengan studi kasus penerapan agentic AI yang tidak dapat diverifikasi .

• UBS: Laporan menyatakan bank tersebut menggunakan agentic AI untuk menghasilkan wawasan pengelolaan kekayaan yang dipersonalisasi. Namun, tidak ditemukan sumber yang dapat memverifikasi klaim itu.
• NHS Greater Manchester: Laporan menyebut organisasi layanan kesehatan Inggris tersebut memakai AI untuk mengatur perjalanan pasien. Klaim ini tidak didukung dokumentasi nyata yang dapat dilacak.
• Transport for London (TfL): TfL dicantumkan sebagai contoh optimalisasi pengalaman pelanggan secara langsung dengan dukungan AI. Klaim tersebut tidak berhasil dikonfirmasi.
• Swiss Federal Railways (SBB): Laporan menampilkan studi kasus tentang penggunaan agentic AI untuk mengintegrasikan berbagai titik interaksi pelanggan. Inisiatif tersebut juga tidak dapat diverifikasi melalui materi yang dirujuk.

Dalam kasus-kasus itu, sitasi mengarah ke laporan yang tidak pernah ada, judul publikasi nyata yang diubah dan dilekatkan pada klaim lain, atau referensi yang terlalu kabur untuk diperiksa .

Diduga berawal dari alat riset AI tanpa verifikasi manusia

GPTZero menyimpulkan bahwa kesalahan tersebut kemungkinan muncul karena sebuah alat riset AI terlalu mengikuti perintah untuk mencari contoh nyata penerapan “agentic AI”. Alat itu kemudian menghasilkan studi kasus dan sitasi yang terdengar masuk akal, tetapi sebenarnya fiktif. Hasil tersebut diduga lolos dari proses peninjauan KPMG tanpa dikoreksi .

Kasus ini menyoroti risiko mendasar dalam riset berbantuan AI: teknologi dapat menyusun narasi yang percaya diri dan tampak otoritatif, meski sumber pendukungnya tidak ada. Jika tidak diverifikasi secara ketat sebelum dipublikasikan, kesalahan seperti ini dapat merusak kredibilitas lembaga yang menerbitkannya .

Bukan insiden tunggal di industri jasa profesional

Kasus KPMG muncul di tengah pola kegagalan sitasi berbasis AI yang lebih luas di perusahaan konsultan dan firma hukum besar .

• Deloitte Australia harus menerbitkan ulang laporan pemerintah bernilai ratusan ribu dolar setelah ditemukan referensi akademik fiktif dan kutipan palsu dari putusan pengadilan federal. Perusahaan tersebut juga menghadapi sorotan publik dan memberikan pengembalian dana sebagian .
• Dalam laporan tentang Ernst & Young (EY), pemeriksaan GPTZero menemukan bahwa hampir seluruh URL rusak atau palsu, sementara lebih dari separuh judul tidak sesuai dengan sumber nyata .
• Masalah serupa juga muncul dalam dokumen hukum yang melibatkan firma seperti Sullivan & Cromwell .

Rangkaian insiden ini menunjukkan risiko sistemik bagi industri yang menjual keahlian, akurasi, dan kepercayaan. AI dapat mempercepat pekerjaan riset, tetapi tanggung jawab untuk memastikan setiap klaim dan sitasi tetap berada pada manusia serta organisasi yang menerbitkannya.

Pelajaran utama dari laporan KPMG sederhana: dalam alur kerja berbantuan AI, proses “pemeriksaan” harus benar-benar dilakukan—secara menyeluruh, berdasarkan sumber asli, dan dengan pengawasan manusia.

Hanya 5 dari 45 sitasi yang dinilai akurat

Pemeriksaan GPTZero terhadap 45 sitasi dalam laporan menemukan kegagalan verifikasi yang sistematis :

• Hanya 5 sitasi yang mengarah secara akurat ke sumber nyata dan relevan.
• 28 sitasi menggunakan judul yang diparafrasekan atau diubah, dengan unsur fiktif yang ditempelkan pada publikasi nyata.
• 12 sitasi terlalu samar atau tidak konsisten untuk dilacak ke sumber yang ada.
• Sekitar separuh klaim substantif yang mengandalkan sitasi-sitasi tersebut tampak palsu atau salah atribusi.

Secara keseluruhan, 89% daftar pustaka ditandai bermasalah. Pemindaian deteksi AI GPTZero juga menilai dokumen tersebut 56% “mixed”, yang mengindikasikan kemungkinan konten dibuat atau banyak dibantu AI tanpa pemeriksaan manusia yang memadai .

Empat organisasi dicantumkan dalam studi kasus yang tak terbukti

Investigasi tersebut menemukan empat organisasi besar yang dikaitkan dengan studi kasus penerapan agentic AI yang tidak dapat diverifikasi .

• UBS: Laporan menyatakan bank tersebut menggunakan agentic AI untuk menghasilkan wawasan pengelolaan kekayaan yang dipersonalisasi. Namun, tidak ditemukan sumber yang dapat memverifikasi klaim itu.
• NHS Greater Manchester: Laporan menyebut organisasi layanan kesehatan Inggris tersebut memakai AI untuk mengatur perjalanan pasien. Klaim ini tidak didukung dokumentasi nyata yang dapat dilacak.
• Transport for London (TfL): TfL dicantumkan sebagai contoh optimalisasi pengalaman pelanggan secara langsung dengan dukungan AI. Klaim tersebut tidak berhasil dikonfirmasi.
• Swiss Federal Railways (SBB): Laporan menampilkan studi kasus tentang penggunaan agentic AI untuk mengintegrasikan berbagai titik interaksi pelanggan. Inisiatif tersebut juga tidak dapat diverifikasi melalui materi yang dirujuk.

Dalam kasus-kasus itu, sitasi mengarah ke laporan yang tidak pernah ada, judul publikasi nyata yang diubah dan dilekatkan pada klaim lain, atau referensi yang terlalu kabur untuk diperiksa .

Diduga berawal dari alat riset AI tanpa verifikasi manusia

GPTZero menyimpulkan bahwa kesalahan tersebut kemungkinan muncul karena sebuah alat riset AI terlalu mengikuti perintah untuk mencari contoh nyata penerapan “agentic AI”. Alat itu kemudian menghasilkan studi kasus dan sitasi yang terdengar masuk akal, tetapi sebenarnya fiktif. Hasil tersebut diduga lolos dari proses peninjauan KPMG tanpa dikoreksi .

Kasus ini menyoroti risiko mendasar dalam riset berbantuan AI: teknologi dapat menyusun narasi yang percaya diri dan tampak otoritatif, meski sumber pendukungnya tidak ada. Jika tidak diverifikasi secara ketat sebelum dipublikasikan, kesalahan seperti ini dapat merusak kredibilitas lembaga yang menerbitkannya .

Bukan insiden tunggal di industri jasa profesional

Kasus KPMG muncul di tengah pola kegagalan sitasi berbasis AI yang lebih luas di perusahaan konsultan dan firma hukum besar .

• Deloitte Australia harus menerbitkan ulang laporan pemerintah bernilai ratusan ribu dolar setelah ditemukan referensi akademik fiktif dan kutipan palsu dari putusan pengadilan federal. Perusahaan tersebut juga menghadapi sorotan publik dan memberikan pengembalian dana sebagian .
• Dalam laporan tentang Ernst & Young (EY), pemeriksaan GPTZero menemukan bahwa hampir seluruh URL rusak atau palsu, sementara lebih dari separuh judul tidak sesuai dengan sumber nyata .
• Masalah serupa juga muncul dalam dokumen hukum yang melibatkan firma seperti Sullivan & Cromwell .

Rangkaian insiden ini menunjukkan risiko sistemik bagi industri yang menjual keahlian, akurasi, dan kepercayaan. AI dapat mempercepat pekerjaan riset, tetapi tanggung jawab untuk memastikan setiap klaim dan sitasi tetap berada pada manusia serta organisasi yang menerbitkannya.

Pelajaran utama dari laporan KPMG sederhana: dalam alur kerja berbantuan AI, proses “pemeriksaan” harus benar-benar dilakukan—secara menyeluruh, berdasarkan sumber asli, dan dengan pengawasan manusia.