Hampir sembilan daripada 10 sitasi bermasalah

Daripada 45 sitasi yang diperiksa GPTZero, hanya lima yang dikenal pasti merujuk kepada sumber sebenar dan relevan . Selebihnya terdiri daripada:

• 28 sitasi dengan tajuk yang diparafrasa atau diubah, termasuk komponen palsu yang digabungkan dengan penerbitan sebenar;
• 12 sitasi yang terlalu kabur atau tidak konsisten untuk dikesan kepada mana-mana sumber sedia ada;
• kira-kira separuh dakwaan substantif yang bergantung pada sitasi tersebut, yang kelihatan palsu atau tersalah atribusi.

Secara keseluruhan, 89% bibliografi laporan itu ditandai sebagai bermasalah. Imbasan pengesanan AI GPTZero turut memberikan penilaian 56% “mixed”, yang menunjukkan dokumen itu berkemungkinan dijana atau banyak dibantu AI tanpa semakan manusia yang mencukupi .

Empat organisasi dikaitkan dengan kajian kes yang tidak dapat disahkan

Antara bahagian paling ketara dalam laporan itu ialah kajian kes yang mengaitkan beberapa organisasi besar dengan penggunaan AI ejen. GPTZero tidak menemui sumber yang boleh mengesahkan dakwaan berkenaan .

UBS

Laporan tersebut mendakwa UBS menggunakan AI ejen untuk menghasilkan pandangan pengurusan kekayaan yang diperibadikan. Namun, tiada sumber yang boleh disahkan ditemui bagi menyokong dakwaan itu .

NHS Greater Manchester

NHS Greater Manchester pula dikatakan menggunakan AI untuk menyelaras perjalanan pesakit. GPTZero mendapati dakwaan berkenaan tidak disokong oleh dokumentasi sebenar yang boleh dikenal pasti .

Transport for London

Transport for London (TfL) disebut sebagai contoh penggunaan AI bagi mengoptimumkan pengalaman pelanggan secara masa nyata. Dakwaan ini juga tidak dapat disahkan melalui bahan rujukan yang diberikan .

Swiss Federal Railways

Laporan itu turut menyatakan bahawa Swiss Federal Railways (SBB) menggunakan AI ejen untuk mengintegrasikan pelbagai titik interaksi pelanggan. Inisiatif seperti itu tidak dapat disahkan dalam sumber yang dirujuk .

Dalam kes-kes tersebut, sitasi yang digunakan dikatakan membawa kepada laporan yang tidak wujud, tajuk penerbitan sebenar yang telah diubah sehingga mengubah maksud asal, atau rujukan yang terlalu umum untuk diperiksa .

Bagaimana kesilapan itu boleh berlaku?

Kesimpulan GPTZero ialah kesilapan tersebut berkemungkinan berpunca daripada alat penyelidikan AI yang terlalu menurut arahan untuk mencari contoh penggunaan AI ejen dalam dunia sebenar .

Alat itu mungkin menghasilkan kajian kes dan sitasi yang kedengaran munasabah, tetapi sebenarnya tidak berasas. Kandungan berkenaan kemudiannya dipercayai telah melepasi proses semakan KPMG tanpa pembetulan yang sewajarnya .

Kes ini menunjukkan masalah utama dalam aliran kerja berasaskan AI: jawapan yang lancar dan meyakinkan tidak semestinya benar. Jika setiap dakwaan serta pautan asal tidak diperiksa oleh manusia, kesilapan kecil boleh berkembang menjadi laporan rasmi yang kelihatan berwibawa tetapi runtuh apabila disemak.

Bukan kes terpencil dalam dunia perkhidmatan profesional

Insiden KPMG berlaku dalam pola yang lebih besar melibatkan kegagalan sitasi berkaitan AI dalam laporan perundingan dan dokumen profesional .

• Deloitte Australia terpaksa menerbitkan semula laporan kerajaan selepas dokumen asal didapati mengandungi rujukan akademik yang tidak wujud dan petikan palsu daripada penghakiman mahkamah persekutuan. Firma itu turut berdepan perhatian awam dan membayar balik sebahagian bayaran laporan tersebut .
• Dalam laporan mengenai Ernst & Young (EY), siasatan GPTZero mendapati hampir semua URL rosak atau palsu, manakala lebih separuh tajuk tidak sepadan dengan sumber sebenar .
• Masalah serupa turut dilaporkan dalam pemfailan undang-undang yang melibatkan firma seperti Sullivan & Cromwell .

Bagi industri yang menjual kepercayaan, kepakaran dan ketepatan, implikasinya bukan sekadar kesilapan teknikal. Rujukan palsu boleh menjejaskan reputasi, menimbulkan persoalan tentang kawalan kualiti dan menarik perhatian pengawal selia.

Pengajaran daripada kes KPMG bukanlah bahawa syarikat perlu berhenti menggunakan AI. Sebaliknya, setiap dakwaan, angka dan sitasi yang dijana atau dibantu AI mesti dipadankan dengan dokumen sumber yang boleh disahkan sebelum diterbitkan. Dalam aliran kerja AI, bahagian “semak” perlu benar-benar dilakukan—dan tanggungjawab itu masih terletak pada manusia.

Hampir sembilan daripada 10 sitasi bermasalah

Daripada 45 sitasi yang diperiksa GPTZero, hanya lima yang dikenal pasti merujuk kepada sumber sebenar dan relevan . Selebihnya terdiri daripada:

• 28 sitasi dengan tajuk yang diparafrasa atau diubah, termasuk komponen palsu yang digabungkan dengan penerbitan sebenar;
• 12 sitasi yang terlalu kabur atau tidak konsisten untuk dikesan kepada mana-mana sumber sedia ada;
• kira-kira separuh dakwaan substantif yang bergantung pada sitasi tersebut, yang kelihatan palsu atau tersalah atribusi.

Secara keseluruhan, 89% bibliografi laporan itu ditandai sebagai bermasalah. Imbasan pengesanan AI GPTZero turut memberikan penilaian 56% “mixed”, yang menunjukkan dokumen itu berkemungkinan dijana atau banyak dibantu AI tanpa semakan manusia yang mencukupi .

Empat organisasi dikaitkan dengan kajian kes yang tidak dapat disahkan

Antara bahagian paling ketara dalam laporan itu ialah kajian kes yang mengaitkan beberapa organisasi besar dengan penggunaan AI ejen. GPTZero tidak menemui sumber yang boleh mengesahkan dakwaan berkenaan .

UBS

Laporan tersebut mendakwa UBS menggunakan AI ejen untuk menghasilkan pandangan pengurusan kekayaan yang diperibadikan. Namun, tiada sumber yang boleh disahkan ditemui bagi menyokong dakwaan itu .

NHS Greater Manchester

NHS Greater Manchester pula dikatakan menggunakan AI untuk menyelaras perjalanan pesakit. GPTZero mendapati dakwaan berkenaan tidak disokong oleh dokumentasi sebenar yang boleh dikenal pasti .

Transport for London

Transport for London (TfL) disebut sebagai contoh penggunaan AI bagi mengoptimumkan pengalaman pelanggan secara masa nyata. Dakwaan ini juga tidak dapat disahkan melalui bahan rujukan yang diberikan .

Swiss Federal Railways

Laporan itu turut menyatakan bahawa Swiss Federal Railways (SBB) menggunakan AI ejen untuk mengintegrasikan pelbagai titik interaksi pelanggan. Inisiatif seperti itu tidak dapat disahkan dalam sumber yang dirujuk .

Dalam kes-kes tersebut, sitasi yang digunakan dikatakan membawa kepada laporan yang tidak wujud, tajuk penerbitan sebenar yang telah diubah sehingga mengubah maksud asal, atau rujukan yang terlalu umum untuk diperiksa .

Bagaimana kesilapan itu boleh berlaku?

Kesimpulan GPTZero ialah kesilapan tersebut berkemungkinan berpunca daripada alat penyelidikan AI yang terlalu menurut arahan untuk mencari contoh penggunaan AI ejen dalam dunia sebenar .

Alat itu mungkin menghasilkan kajian kes dan sitasi yang kedengaran munasabah, tetapi sebenarnya tidak berasas. Kandungan berkenaan kemudiannya dipercayai telah melepasi proses semakan KPMG tanpa pembetulan yang sewajarnya .

Kes ini menunjukkan masalah utama dalam aliran kerja berasaskan AI: jawapan yang lancar dan meyakinkan tidak semestinya benar. Jika setiap dakwaan serta pautan asal tidak diperiksa oleh manusia, kesilapan kecil boleh berkembang menjadi laporan rasmi yang kelihatan berwibawa tetapi runtuh apabila disemak.

Bukan kes terpencil dalam dunia perkhidmatan profesional

Insiden KPMG berlaku dalam pola yang lebih besar melibatkan kegagalan sitasi berkaitan AI dalam laporan perundingan dan dokumen profesional .

• Deloitte Australia terpaksa menerbitkan semula laporan kerajaan selepas dokumen asal didapati mengandungi rujukan akademik yang tidak wujud dan petikan palsu daripada penghakiman mahkamah persekutuan. Firma itu turut berdepan perhatian awam dan membayar balik sebahagian bayaran laporan tersebut .
• Dalam laporan mengenai Ernst & Young (EY), siasatan GPTZero mendapati hampir semua URL rosak atau palsu, manakala lebih separuh tajuk tidak sepadan dengan sumber sebenar .
• Masalah serupa turut dilaporkan dalam pemfailan undang-undang yang melibatkan firma seperti Sullivan & Cromwell .

Bagi industri yang menjual kepercayaan, kepakaran dan ketepatan, implikasinya bukan sekadar kesilapan teknikal. Rujukan palsu boleh menjejaskan reputasi, menimbulkan persoalan tentang kawalan kualiti dan menarik perhatian pengawal selia.

Pengajaran daripada kes KPMG bukanlah bahawa syarikat perlu berhenti menggunakan AI. Sebaliknya, setiap dakwaan, angka dan sitasi yang dijana atau dibantu AI mesti dipadankan dengan dokumen sumber yang boleh disahkan sebelum diterbitkan. Dalam aliran kerja AI, bahagian “semak” perlu benar-benar dilakukan—dan tanggungjawab itu masih terletak pada manusia.