Dreaming V3 від ChatGPT: оновлення пам’яті, яке непомітно отруює кожну відповідь

Як працює механізм пам'яті Dreaming V3

Dreaming V3 повністю відмовляється від явного списку збережених спогадів. Замість цього, після завершення розмов запускається фоновий механізм синтезу, який зчитує всю історію чатів користувача, щоб визначити його вподобання, робочі патерни, особисті обмеження та інші деталі — і все це без жодної ручної команди «запам'ятай це» .

Основні архітектурні зміни включають:

• Сканування всієї історії. Система більше не покладається на відмічені вами пункти — вона читає все .
• Виведені вподобання. Вона видобуває неявні деталі з випадкових реплік та минулої поведінки, які ви, можливо, ніколи не збиралися зберігати .
• Міжсесійна консолідація. Процес «сновидіння» (dreaming) працює в автономному режимі, вирішуючи суперечності та оновлюючи застарілі факти .
• Синтезоване представлення. Те, що зберігається, є не дослівним записом ваших слів, а стисненим, згенерованим моделлю описом того, ким ви є .

Користувачі можуть переглянути зведення пам'яті в Налаштуваннях, але сам базовий рівень необроблених даних безпосередньо не відображається . Це створює прогалину в аудиті, яка стає критичною, коли система починає помилятися.

Тестування ZDNet виявило масові проблеми з точністю

Журналіст ZDNet Девід Гевірц ретельно протестував оновлену пам'ять і виявив серйозні, систематичні проблеми з точністю, які з часом поглиблюються .

• Застарілі припущення залишаються назавжди. ChatGPT зберігав старі назви посад, завершені проєкти та вже неактуальні вподобання, а потім розглядав їх як поточні факти в кожній наступній взаємодії .
• Дрібні помилки стають «істиною». ШІ фіксує невеликі помилки і застосовує до них ту ж впевненість, що й до перевірених фактичних знань. Одна-єдина неправильна деталь потім непомітно «забруднює» десятки майбутніх відповідей .
• Невидиме поширення. Помилкові дані пам'яті спотворюють відповіді без жодних видимих ознак того, що щось пішло не так. Користувачі можуть так ніколи і не дізнатися, що ШІ працює зі спотвореним контекстом, поки шкода вже не пошириться на багато розмов .
• Детальні, але неправильні профілі. Система створювала детальні особисті профілі, які виглядали правдоподібно, але були хибними, прив'язуючи кожну відповідь до помилкових передумов .

Гевірц назвав Dreaming V3 «технічним тріумфом» у поєднанні з «безвідповідальною функцією» . Головна проблема не в тому, що ШІ робить помилки — проблема в тому, що помилка стає постійною, невидимою основою для всього, про що ви запитаєте потім.

Прогалина в аудиті: те, що OpenAI вам не покаже

У розділі поширених запитань щодо пам'яті від OpenAI міститься нищівне зізнання: «Хоча зведення пам'яті має відображати найважливіші деталі, воно не включатиме все, що ChatGPT запам'ятав на основі ваших чатів. Якщо ви хочете дізнатися, чи запам'ятав ChatGPT щось, просто запитайте в чаті» .

Сторінка зведення пам'яті — це зручний для читання огляд синтезованого профілю, а не повне вікно в те, що модель насправді зберігає та використовує . Це означає, що користувачі не можуть провести повний аудит того, що ChatGPT «знає» про них, лише через інтерфейс налаштувань . Вам довелося б «випитувати» у ШІ, просячи його розкрити власні приховані припущення про вас — що є ненадійним і непрактичним для регулярного використання.

Чому «просто видалити це» не вирішує проблему

Опції керування або очищення пам'яті існують, але кожна має значні обмеження.

• Вимкнення пам'яті може не стерти те, що вже збережено. ZDNet повідомляє, що вимкнення функції не обов'язково видаляє дані, які система вже синтезувала .
• Ручне видалення є ненадійним. Користувачі можуть переглядати та видаляти окремі записи пам'яті в Налаштуваннях, але процес «сновидіння» може знову «вивчити» ті самі деталі з вашої історії чатів під час наступного запуску .
• Постійна автоматична ре-синтезація. Оскільки Dreaming V3 безперервно ре-синтезує контекст, просте видалення перелічених спогадів не заважає системі повторно вивести подібну інформацію з минулих розмов .
• Більшість користувачів не проводитимуть аудит, поки система не зламається. Перша видима ознака пошкодженої пам'яті часто з'являється вже після того, як «отруєні» дані спотворили багато відповідей .

Новий тип «загнивання контексту»: гниття від профілю назовні

«Загнивання контексту» (context rot) описує, як великі мовні моделі деградують у міру заповнення контекстного вікна — старіша інформація витісняється новішою, і відповіді віддаляються від реальної ситуації користувача . Dreaming V3 була спеціально розроблена для боротьби з цією проблемою між сесіями, вирішуючи «проблеми застарілості, коректності та масштабованості, які ми спостерігаємо, коли пам'ять застосовується до сотень мільйонів користувачів і багаторічних часових горизонтів у ChatGPT» .

Але те, що створила OpenAI, призводить до більш підступного варіанту. Замість того, щоб контекст «загнивав» через заповнення обмеженого вікна, він тепер гниє з центру назовні: як тільки помилка потрапляє до постійного профілю користувача, вона непомітно погіршує кожну наступну відповідь. Це не традиційне «загнивання» від втрати інформації — це гниття від неправильної інформації, до якої система ставиться як до авторитетної. І оскільки користувачі не можуть її побачити або легко видалити, вони можуть ніколи не дізнатися, чому їхній ШІ повільно стає гіршим .