ChatGPT:n uusi muisti osaa nyt unelmoida – ja tekee sen käyttäjän kustannuksella

Tässä kerromme, mitä kulissien takana todella tapahtuu – ja miksi sinun kannattaa olla huolissasi.

Miten Dreaming V3 -muistimoottori toimii

Dreaming V3 hylkää kokonaan aiemman, eksplisiittisten tallennettujen muistojen listan. Sen sijaan taustalla toimiva synteesimoottori käynnistyy keskusteluiden päätyttyä. Se käy läpi käyttäjän koko keskusteluhistorian ja päättelee sieltä mieltymyksiä, työskentelytapoja, henkilökohtaisia rajoitteita ja muita yksityiskohtia – ilman ainuttakaan "muista tämä" -komentoa .

Keskeisiä arkkitehtonisia muutoksia ovat:

• Koko historian läpikäynti. Järjestelmä ei enää nojaa käyttäjän erikseen merkitsemiin asioihin – se lukee kaiken .
• Päätellyt mieltymykset. Se poimii piileviä yksityiskohtia ohimennen heitetyistä kommenteista ja aiemmasta käytöksestä – asioita, joita et ehkä koskaan aikonut tallentaa .
• Istuntojen välinen yhdistely. "Unelmointi"-prosessi (engl. dreaming) käynnistyy offline-tilassa. Se ratkoo ristiriitaisuuksia ja päivittää vanhentuneita faktoja .
• Syntetisoitu esitystapa. Tallennettu tieto ei ole sanatarkka transkriptio sanoistasi, vaan tiivistetty, mallin itsensä tuottama kuvaus siitä, kuka olet .

Käyttäjät voivat tarkastella muistiyhteenvetoa asetuksissa, mutta taustalla olevaa raakadataa ei suoraan näytetä . Tämä luo valvontaan aukon, joka muuttuu kriittiseksi heti, kun järjestelmä alkaa tehdä virheitä.

ZDNetin testit paljastivat laajoja tarkkuusongelmia

ZDNetin toimittaja David Gewirtz testasi päivitettyä muistia laajasti ja löysi vakavia, systemaattisia ongelmia, jotka pahenevat ajan myötä .

• Vanhentuneet oletukset jäävät pysyvästi voimaan. ChatGPT tallensi vanhoja työnimikkeitä, päättyneitä projekteja ja korvattuja mieltymyksiä ja kohteli niitä ajankohtaisina faktoina jokaisessa uudessa keskustelussa .
• Pienestä virheestä tulee ehdoton totuus. Tekoäly lukitsee pienet virheet muistiinsa ja soveltaa niihin samaa varmuutta kuin varmennettuun faktatietoon. Yksittäinen virheellinen yksityiskohta alkaa sitten liata kymmeniä tulevia vastauksia täysin huomaamatta .
• Näkymätön leviäminen. Virheellinen muistidata vääristää vastauksia ilman mitään näkyvää merkkiä siitä, että jokin on vialla. Käyttäjät eivät välttämättä koskaan tajua tekoälyn toimivan virheellisen kontekstin pohjalta, ennen kuin vahinko on jo levinnyt lukuisiin keskusteluihin .
• Yksityiskohtaisia mutta vääriä profiileja. Järjestelmä loi käyttäjistä perusteellisia henkilöprofiileja, jotka vaikuttivat uskottavilta mutta olivat täysin virheellisiä. Jokainen vastaus ankkuroitui näihin vääriin lähtökohtiin .

Gewirtz kuvaili Dreaming V3:sta "tekniseksi riemuvoitoksi", johon yhdistyy "vastuuton ominaisuus" . Ydinongelma ei ole se, että tekoäly tekee virheitä, vaan se, että virheestä tulee pysyvä ja näkymätön perusta kaikelle, mitä siltä tämän jälkeen kysytään.

Valvonnan aukko: mitä OpenAI ei suostu näyttämään

OpenAI:n muistia käsittelevässä UKK-osiossa on hiljaisen paljastava myönnytys: "Vaikka muistiyhteenvedon tulisi kattaa tärkeimmät yksityiskohdat, se ei sisällä kaikkea, mitä ChatGPT muistaa keskustelujesi perusteella. Jos haluat tietää, onko ChatGPT muistanut jotain, kysy sitä suoraan chatissa" .

Muistiyhteenvetosivu on ihmisluettava yleiskuva syntetisoidusta profiilistasi. Se ei ole täydellinen ikkuna siihen, mitä malli todellisuudessa tallentaa ja käyttää . Tämä tarkoittaa, ettet voi täysin tarkastaa, mitä ChatGPT sinusta "tietää", pelkän asetusvalikon kautta . Sinun pitäisi kalastella tietoja esiin – kysellä tekoälyltä paljastaakseen omia piileviä oletuksiaan sinusta. Tämä ei ole luotettavaa eikä käytännöllistä.

Miksi pelkkä "poista se" ei korjaa ongelmaa

Muistin hallintaan ja tyhjentämiseen on tarjolla vaihtoehtoja, mutta niihin kaikkiin liittyy merkittäviä rajoituksia.

• Muistin pois päältä kytkeminen ei välttämättä poista jo tallennettua tietoa. ZDNet raportoi, että ominaisuuden käytöstä poistaminen ei välttämättä hävitä dataa, jonka järjestelmä on jo syntetisoinut .
• Manuaalinen poisto on haurasta. Käyttäjät voivat tarkastella ja poistaa yksittäisiä muistitietoja asetuksissa, mutta unelmointiprosessi voi oppia samat yksityiskohdat uudelleen olemassa olevasta keskusteluhistoriastasi heti seuraavalla ajokerralla .
• Jatkuva automaattinen uudelleensynteesi. Koska Dreaming V3 syntetisoi kontekstia jatkuvasti uudelleen, listattujen muistojen poistaminen ei estä järjestelmää päättelemästä samankaltaisia tietoja uudestaan vanhoista keskusteluistasi .
• Suurin osa käyttäjistä ei tarkasta muistia ennen kuin järjestelmä pettää. Ensimmäinen merkki vioittuneesta muistista paljastuu usein vasta, kun myrkyttynyt data on jo ehtinyt muokata kymmeniä vastauksia .

Uudenlainen kontekstilahotuuli: profiilin ytimestä ulospäin leviävä mädännäisyys

Kontekstilahotuulella (engl. context rot) tarkoitetaan suurten kielimallien suorituskyvyn heikkenemistä, kun niiden konteksti-ikkuna täyttyy – vanhempi tieto väistyy uudemman tieltä, ja vastaukset alkavat lipua kauemmas käyttäjän todellisesta tilanteesta . Dreaming V3 suunniteltiin nimenomaan taistelemaan tätä ongelmaa vastaan istuntojen välillä. OpenAI:n mukaan se tarttuu "vanhenemisen, oikeellisuuden ja skaalautuvuuden haasteisiin, joita havaitsemme muistin soveltamisessa satoihin miljooniin käyttäjiin ja vuosien aikajänteisiin ChatGPT:ssä" .

Mutta se, minkä OpenAI on rakentanut, tuo mukanaan salakavalamman muunnelman tästä ilmiöstä. Sen sijaan, että konteksti mätänisi rajallisen ikkunan täyttyessä, se mätänee nyt keskuksesta käsin: kun virhe pääsee pysyvään käyttäjäprofiiliin, se heikentää hiljaisesti jokaista sen jälkeen tulevaa vastausta. Tämä ei ole perinteistä kontekstilahotuulta, jossa tietoa katoaa, vaan lahoamista, jonka aiheuttaa väärä tieto, jota järjestelmä pitää auktoritatiivisena. Ja koska käyttäjät eivät näe tätä virhettä eivätkä voi helposti poistaa sitä, he eivät ehkä koskaan saa tietää, miksi heidän tekoälynsä muuttuu vähitellen huonommaksi .