İşte kaputun altında gerçekte neler oluyor ve neden endişelenmelisiniz?

Dreaming V3 Hafıza Motoru Nasıl Çalışıyor?

Dreaming V3, "açıkça kaydedilmiş anılar" listesini tamamen terk ediyor. Bunun yerine, sohbetler sona erdikten sonra devreye giren bir arka plan sentez motoru, kullanıcının tüm sohbet geçmişini tarıyor. Tercihleri, çalışma düzenlerini, kişisel kısıtlamaları ve diğer detayları "bunu hatırla" gibi bir komuta gerek kalmadan çıkarımsıyor .

Bu sistemin temel mimari değişiklikleri şunlar:

• Tüm geçmişi tarama: Sistem artık sadece sizin işaretlediğiniz öğelere bel bağlamıyor; her şeyi okuyor .
• Çıkarımsanan tercihler: Hiçbir zaman saklamak istememiş olabileceğiniz, gündelik sohbetlerinizdeki imaları ve geçmiş davranış kalıplarını analiz ederek sizinle ilgili örtük detayları çıkarıyor .
• Oturumlar arası konsolidasyon: Bir 'rüya görme' (dreaming) süreci çevrimdışı olarak çalışıyor, çelişkileri çözüyor ve bayatlamış bilgileri güncelliyor .
• Sentezlenmiş temsil: Depolanan şey, sözlerinizin kelimesi kelimesine dökümü değil; kim olduğunuza dair model tarafından oluşturulmuş, sıkıştırılmış bir betimleme .

Kullanıcılar, Ayarlar menüsünden bir hafıza özetini görüntüleyebiliyor. Ancak bu özetin altında yatan ham veri katmanı doğrudan erişime açık değil . Bu durum, sistem hata yapmaya başladığında son derece kritik bir denetim boşluğu yaratıyor.

ZDNet'in Testleri Yaygın Doğruluk Hatalarını Ortaya Çıkardı

ZDNet muhabiri David Gewirtz, güncellenmiş hafızayı kapsamlı bir şekilde test etti ve zamanla biriken ciddi ve sistematik doğruluk sorunları buldu .

• Güncelliğini yitirmiş varsayımlar kalıcı olarak yapışıyor: ChatGPT, eski iş unvanlarını, bitmiş projeleri ve artık geçerli olmayan tercihleri depolayıp, bunları takip eden her etkileşimde geçerli bir gerçekmiş gibi ele alıyor .
• Küçük hatalar kutsal kitaba dönüşüyor: Yapay zeka, küçük bir hatayı hapsediyor ve doğrulanmış bilgiye gösterdiği özgüvenin aynısını bu hataya da gösteriyor. Tek bir yanlış detay, daha sonra onlarca cevabı sessizce kirletiyor .
• Görünmez yayılma: Hatalı hafıza verisi, cevapları ortada hiçbir sorun belirtisi yokken çarpıtıyor. Kullanıcılar, yapay zekanın bozuk bir bağlamdan çalıştığını, hasar çoktan birçok sohbete yayılana kadar asla fark edemeyebiliyor .
• Ayrıntılı ama yanlış profiller: Sistem, kulağa mantıklı gelen ama tamamen yanlış olan ayrıntılı kişisel profiller oluşturarak her cevabı yanlış önermelere dayandırıyor .

Gewirtz, Dreaming V3'ü teknik bir zafer olarak nitelendirirken, bir yandan da 'sorumsuz bir özellik' olduğunu ifade etti . Buradaki temel sorun, yapay zekanın sadece hata yapması değil; hatanın, daha sonra soracağınız her şey için görünmez ve kalıcı bir altyapıya dönüşmesi.

Denetim Boşluğu: OpenAI'ın Size Göstermeyeceği Şeyler

OpenAI'ın Hafıza SSS (Sıkça Sorulan Sorular) bölümünde sessiz sedasız yapılmış yıkıcı bir itiraf var: "Hafıza özeti en önemli detayları yakalamalıdır, ancak ChatGPT'nin sohbetlerinize dayanarak sizinle ilgili hatırladığı her şeyi içermeyecektir. ChatGPT'nin bir şeyi hatırlayıp hatırlamadığını bilmek istiyorsanız, sohbet sırasında ona sorun" .

Bu hafıza özeti sayfası, sentezlenmiş profilin insan tarafından okunabilir bir özetidir; modelin gerçekte neyi depoladığına ve kullandığına dair eksiksiz bir pencere değildir . Bu, kullanıcıların yapay zekanın kendileri hakkında "ne bildiğini" sadece ayarlar arayüzüne bakarak tam olarak denetleyemeyeceği anlamına geliyor . Bunun için, yapay zekadan kendisi hakkındaki gizli varsayımlarını açıklamasını istemeniz gerekir ki bu da ne güvenilir ne de düzenli kullanım için pratik bir yöntem.

"Sil Gitsin" Çözümü Neden Sorunu Çözmüyor?

Hafızayı yönetme veya tamamen temizleme seçenekleri mevcut, ancak her birinin önemli kısıtlamaları var:

• Hafızayı kapatmak, zaten depolanmış olanı silmeyebilir. ZDNet, bu özelliği devre dışı bırakmanın, sistemin zaten sentezlemiş olduğu verileri mutlaka silmediğini bildirdi .
• Manuel silme işlemi hassas. Kullanıcılar Ayarlar'dan bireysel hafıza girdilerini inceleyip silebilirler, ancak 'rüya görme' süreci bir sonraki çalışmasında aynı detayları mevcut sohbet geçmişinizden yeniden öğrenebilir .
• Sürekli otomatik yeniden sentezleme. Dreaming V3, bağlamı sürekli olarak yeniden sentezlediği için, listelenen anıları basitçe silmek, sistemin geçmiş konuşmalardan benzer bilgileri tekrar çıkarımsamasını engellemez .
• Çoğu kullanıcı, iş işten geçene kadar denetlemez. Bozulmuş bir hafızanın ilk görünür işareti genellikle, zehirli veri zaten birçok cevabı şekillendirdikten sonra ortaya çıkar .

Yeni 'Bağlam Çürümesi': Profilin Merkezinden Dışa Doğru Bozulma

Bağlam çürümesi (context rot), büyük dil modellerinin bağlam pencereleri (bir nevi 'çalışma hafızaları') doldukça nasıl bozulduğunu anlatır; eski bilgiler yeni gelen içerikle yer değiştirir ve modelin çıktıları kullanıcının gerçek durumundan uzaklaşır . Dreaming V3, tam da bu sorunla mücadele etmek için tasarlanmıştı. OpenAI, bu sistemin "hafıza yüz milyonlarca kullanıcıya ve yıllara yayılan zaman dilimlerine uygulandığında gözlemlediğimiz güncellik, doğruluk ve ölçeklenebilirlik zorluklarının üstesinden gelmeyi" amaçladığını belirtiyor .

Ancak OpenAI'ın inşa ettiği şey, çok daha sinsi bir varyantı ortaya çıkardı. Bağlam, artık sınırlı bir pencere dolduğunda en dıştan çürümeye başlamak yerine, merkezden dışa doğru çürüyor: Kalıcı kullanıcı profiline bir hata bir kez girdiğinde, bu hata bundan sonraki her cevabı sessizce bozuyor. Bu, geleneksel anlamda kaybolan bilgiden kaynaklanan bir bağlam çürümesi değil; bu, sistemin kesin doğru olarak kabul ettiği yanlış bilgiden kaynaklanan bir çürüme. Ve kullanıcılar bunu ne görebildiğine ne de kolayca silebildiğine göre, yapay zekalarının neden giderek kötüleştiğini asla anlayamayabilirler .

İşte kaputun altında gerçekte neler oluyor ve neden endişelenmelisiniz?

Dreaming V3 Hafıza Motoru Nasıl Çalışıyor?

Dreaming V3, "açıkça kaydedilmiş anılar" listesini tamamen terk ediyor. Bunun yerine, sohbetler sona erdikten sonra devreye giren bir arka plan sentez motoru, kullanıcının tüm sohbet geçmişini tarıyor. Tercihleri, çalışma düzenlerini, kişisel kısıtlamaları ve diğer detayları "bunu hatırla" gibi bir komuta gerek kalmadan çıkarımsıyor .

Bu sistemin temel mimari değişiklikleri şunlar:

• Tüm geçmişi tarama: Sistem artık sadece sizin işaretlediğiniz öğelere bel bağlamıyor; her şeyi okuyor .
• Çıkarımsanan tercihler: Hiçbir zaman saklamak istememiş olabileceğiniz, gündelik sohbetlerinizdeki imaları ve geçmiş davranış kalıplarını analiz ederek sizinle ilgili örtük detayları çıkarıyor .
• Oturumlar arası konsolidasyon: Bir 'rüya görme' (dreaming) süreci çevrimdışı olarak çalışıyor, çelişkileri çözüyor ve bayatlamış bilgileri güncelliyor .
• Sentezlenmiş temsil: Depolanan şey, sözlerinizin kelimesi kelimesine dökümü değil; kim olduğunuza dair model tarafından oluşturulmuş, sıkıştırılmış bir betimleme .

Kullanıcılar, Ayarlar menüsünden bir hafıza özetini görüntüleyebiliyor. Ancak bu özetin altında yatan ham veri katmanı doğrudan erişime açık değil . Bu durum, sistem hata yapmaya başladığında son derece kritik bir denetim boşluğu yaratıyor.

ZDNet'in Testleri Yaygın Doğruluk Hatalarını Ortaya Çıkardı

ZDNet muhabiri David Gewirtz, güncellenmiş hafızayı kapsamlı bir şekilde test etti ve zamanla biriken ciddi ve sistematik doğruluk sorunları buldu .

• Güncelliğini yitirmiş varsayımlar kalıcı olarak yapışıyor: ChatGPT, eski iş unvanlarını, bitmiş projeleri ve artık geçerli olmayan tercihleri depolayıp, bunları takip eden her etkileşimde geçerli bir gerçekmiş gibi ele alıyor .
• Küçük hatalar kutsal kitaba dönüşüyor: Yapay zeka, küçük bir hatayı hapsediyor ve doğrulanmış bilgiye gösterdiği özgüvenin aynısını bu hataya da gösteriyor. Tek bir yanlış detay, daha sonra onlarca cevabı sessizce kirletiyor .
• Görünmez yayılma: Hatalı hafıza verisi, cevapları ortada hiçbir sorun belirtisi yokken çarpıtıyor. Kullanıcılar, yapay zekanın bozuk bir bağlamdan çalıştığını, hasar çoktan birçok sohbete yayılana kadar asla fark edemeyebiliyor .
• Ayrıntılı ama yanlış profiller: Sistem, kulağa mantıklı gelen ama tamamen yanlış olan ayrıntılı kişisel profiller oluşturarak her cevabı yanlış önermelere dayandırıyor .

Gewirtz, Dreaming V3'ü teknik bir zafer olarak nitelendirirken, bir yandan da 'sorumsuz bir özellik' olduğunu ifade etti . Buradaki temel sorun, yapay zekanın sadece hata yapması değil; hatanın, daha sonra soracağınız her şey için görünmez ve kalıcı bir altyapıya dönüşmesi.

Denetim Boşluğu: OpenAI'ın Size Göstermeyeceği Şeyler

OpenAI'ın Hafıza SSS (Sıkça Sorulan Sorular) bölümünde sessiz sedasız yapılmış yıkıcı bir itiraf var: "Hafıza özeti en önemli detayları yakalamalıdır, ancak ChatGPT'nin sohbetlerinize dayanarak sizinle ilgili hatırladığı her şeyi içermeyecektir. ChatGPT'nin bir şeyi hatırlayıp hatırlamadığını bilmek istiyorsanız, sohbet sırasında ona sorun" .

Bu hafıza özeti sayfası, sentezlenmiş profilin insan tarafından okunabilir bir özetidir; modelin gerçekte neyi depoladığına ve kullandığına dair eksiksiz bir pencere değildir . Bu, kullanıcıların yapay zekanın kendileri hakkında "ne bildiğini" sadece ayarlar arayüzüne bakarak tam olarak denetleyemeyeceği anlamına geliyor . Bunun için, yapay zekadan kendisi hakkındaki gizli varsayımlarını açıklamasını istemeniz gerekir ki bu da ne güvenilir ne de düzenli kullanım için pratik bir yöntem.

"Sil Gitsin" Çözümü Neden Sorunu Çözmüyor?

Hafızayı yönetme veya tamamen temizleme seçenekleri mevcut, ancak her birinin önemli kısıtlamaları var:

• Hafızayı kapatmak, zaten depolanmış olanı silmeyebilir. ZDNet, bu özelliği devre dışı bırakmanın, sistemin zaten sentezlemiş olduğu verileri mutlaka silmediğini bildirdi .
• Manuel silme işlemi hassas. Kullanıcılar Ayarlar'dan bireysel hafıza girdilerini inceleyip silebilirler, ancak 'rüya görme' süreci bir sonraki çalışmasında aynı detayları mevcut sohbet geçmişinizden yeniden öğrenebilir .
• Sürekli otomatik yeniden sentezleme. Dreaming V3, bağlamı sürekli olarak yeniden sentezlediği için, listelenen anıları basitçe silmek, sistemin geçmiş konuşmalardan benzer bilgileri tekrar çıkarımsamasını engellemez .
• Çoğu kullanıcı, iş işten geçene kadar denetlemez. Bozulmuş bir hafızanın ilk görünür işareti genellikle, zehirli veri zaten birçok cevabı şekillendirdikten sonra ortaya çıkar .

Yeni 'Bağlam Çürümesi': Profilin Merkezinden Dışa Doğru Bozulma

Bağlam çürümesi (context rot), büyük dil modellerinin bağlam pencereleri (bir nevi 'çalışma hafızaları') doldukça nasıl bozulduğunu anlatır; eski bilgiler yeni gelen içerikle yer değiştirir ve modelin çıktıları kullanıcının gerçek durumundan uzaklaşır . Dreaming V3, tam da bu sorunla mücadele etmek için tasarlanmıştı. OpenAI, bu sistemin "hafıza yüz milyonlarca kullanıcıya ve yıllara yayılan zaman dilimlerine uygulandığında gözlemlediğimiz güncellik, doğruluk ve ölçeklenebilirlik zorluklarının üstesinden gelmeyi" amaçladığını belirtiyor .

Ancak OpenAI'ın inşa ettiği şey, çok daha sinsi bir varyantı ortaya çıkardı. Bağlam, artık sınırlı bir pencere dolduğunda en dıştan çürümeye başlamak yerine, merkezden dışa doğru çürüyor: Kalıcı kullanıcı profiline bir hata bir kez girdiğinde, bu hata bundan sonraki her cevabı sessizce bozuyor. Bu, geleneksel anlamda kaybolan bilgiden kaynaklanan bir bağlam çürümesi değil; bu, sistemin kesin doğru olarak kabul ettiği yanlış bilgiden kaynaklanan bir çürüme. Ve kullanıcılar bunu ne görebildiğine ne de kolayca silebildiğine göre, yapay zekalarının neden giderek kötüleştiğini asla anlayamayabilirler .