ChatGPT Dreaming V3: Bila Ingatan AI Jadi Senjata Makan Tuan

Bagaimana Enjin Ingatan Dreaming V3 Berfungsi

Dreaming V3 meninggalkan sepenuhnya senarai ingatan tersimpan yang eksplisit. Sebaliknya, enjin sintesis latar belakang berjalan selepas perbualan tamat, membaca keseluruhan sejarah sembang pengguna untuk menyimpulkan keutamaan, corak kerja, kekangan peribadi, dan butiran lain—semuanya tanpa sebarang arahan "ingat ini" secara manual .

Perubahan seni bina utama termasuk:

• Imbasan sejarah penuh. Sistem tidak lagi bergantung pada item yang anda tandakan—ia membaca segala-galanya .
• Keutamaan yang disimpulkan. Ia mengekstrak butiran tersirat dari komen sepintas lalu dan tingkah laku lepas yang mungkin tidak pernah anda berniat untuk simpankan .
• Konsolidasi antara sesi. Proses 'bermimpi' berjalan di luar talian, menyelesaikan percanggahan dan mengemas kini fakta lapuk .
• Perwakilan tersintesis. Apa yang disimpan bukanlah transkrip verbatim kata-kata anda tetapi penerangan termampat yang dijana model tentang siapa anda .

Pengguna boleh melihat ringkasan ingatan dalam Tetapan, tetapi lapisan data mentah yang mendasarinya tidak didedahkan secara langsung . Ini mewujudkan jurang audit yang menjadi kritikal apabila sistem mula membuat kesilapan.

Ujian ZDNet Menemui Kegagalan Ketepatan yang Berleluasa

Wartawan ZDNet, David Gewirtz, menguji ingatan yang dinaik taraf ini secara meluas dan menemui masalah ketepatan sistematik yang serius dan bertambah buruk dari semasa ke semasa .

• Andaian lapuk kekal kekal. ChatGPT menyimpan jawatan kerja lama, projek yang telah tamat, dan keutamaan yang digantikan, kemudian melayannya sebagai fakta semasa dalam setiap interaksi seterusnya .
• Kesilapan kecil menjadi 'kitab suci'. AI mengunci kesilapan kecil dan menggunakan keyakinan yang sama seperti yang digunakannya untuk pengetahuan fakta yang disahkan. Satu butiran salah kemudiannya secara senyap mencemarkan berpuluh-puluh respons masa depan .
• Penyebaran yang tidak kelihatan. Data ingatan yang cacat memesongkan jawapan tanpa sebarang petunjuk yang kelihatan bahawa ada sesuatu yang tidak kena. Pengguna mungkin tidak menyedari AI sedang bekerja dari konteks yang rosak sehingga kerosakan telah merebak ke banyak perbualan .
• Profil terperinci tetapi salah. Sistem mencipta profil peribadi yang rumit yang munasabah tetapi salah, menyandarkan setiap respons pada premis palsu .

Gewirtz menggambarkan Dreaming V3 sebagai "kejayaan teknikal" yang digandingkan dengan "ciri yang tidak bertanggungjawab" . Masalah terasnya bukanlah AI membuat kesilapan—tetapi kesilapan itu menjadi infrastruktur kekal dan tidak kelihatan untuk semua yang anda tanya selepasnya.

Jurang Audit: Apa yang OpenAI Tidak Akan Tunjukkan kepada Anda

Soalan Lazim Ingatan OpenAI mengandungi satu pengakuan yang secara diam-diam memusnahkan: "Walaupun ringkasan ingatan sepatutnya menangkap butiran yang paling penting, ia tidak akan merangkumi semua yang ChatGPT ingat berdasarkan sembang anda. Jika anda ingin mengetahui sama ada ChatGPT telah mengingati sesuatu, tanya sahaja dalam sembang" .

Halaman ringkasan ingatan adalah gambaran keseluruhan yang boleh dibaca manusia tentang profil tersintesis, bukan tetingkap lengkap ke dalam apa yang sebenarnya disimpan dan digunakan oleh model . Ini bermakna pengguna tidak boleh mengaudit sepenuhnya apa yang ChatGPT "tahu" tentang mereka melalui UI tetapan sahaja . Anda terpaksa 'memancing'—meminta AI untuk mendedahkan andaian tersembunyinya sendiri tentang anda—yang tidak boleh dipercayai dan tidak praktikal untuk kegunaan biasa.

Kenapa "Padam Saja" Tidak Menyelesaikan Masalah

Pilihan untuk mengurus atau membersihkan ingatan memang wujud, tetapi setiap satunya mempunyai batasan yang ketara.

• Mematikan ingatan mungkin tidak memadam apa yang sudah disimpan. ZDNet melaporkan bahawa melumpuhkan ciri ini tidak semestinya memadam data yang telah disintesis oleh sistem .
• Pemadaman manual adalah rapuh. Pengguna boleh menyemak dan memadam entri ingatan individu dalam Tetapan, tetapi proses 'bermimpi' boleh mempelajari semula butiran yang sama dari sejarah sembang sedia ada anda pada kali seterusnya ia berjalan .
• Sintesis semula automatik yang berterusan. Oleh kerana Dreaming V3 secara berterusan mensintesis semula konteks, hanya memadam ingatan yang disenaraikan tidak menghalang sistem daripada menyimpulkan semula maklumat serupa dari perbualan lepas .
• Kebanyakan pengguna tidak akan mengaudit sehingga ia rosak. Tanda pertama yang kelihatan tentang ingatan yang rosak sering datang selepas data beracun itu telah membentuk banyak respons .

'Reput Konteks' Baharu: Mereput dari Profil Keluar

Reput konteks menggambarkan bagaimana model bahasa besar merosot apabila tetingkap konteks penuh—maklumat lama digantikan oleh kandungan yang lebih baharu, dan output tersasar dari situasi sebenar pengguna . Dreaming V3 direka secara eksplisit untuk memerangi masalah ini merentas sesi, menangani "cabaran kelapukan, ketepatan, dan skalabiliti yang kami perhatikan apabila ingatan digunakan untuk ratusan juta pengguna dan jangka masa berbilang tahun dalam ChatGPT" .

Tetapi apa yang telah dibina oleh OpenAI memperkenalkan varian yang lebih berbahaya. Daripada konteks yang mereput dari tetingkap terhingga yang penuh, ia kini mereput dari pusat keluar: sebaik sahaja kesilapan memasuki profil pengguna yang berterusan, ia secara senyap merosot setiap jawapan yang berikutnya. Ini bukan reput konteks tradisional dari kehilangan maklumat—ia adalah reput dari maklumat salah yang dilayan oleh sistem sebagai autoritatif. Dan kerana pengguna tidak dapat melihat atau membuangnya dengan mudah, mereka mungkin tidak akan tahu mengapa AI mereka perlahan-lahan menjadi lebih teruk .