Чому OpenAI відсторонила оцінювачів ChatGPT за використання ШІ

OpenAI, за даними журналістів, відсторонила кількох підрядників, які залучали ШІ до оцінювання її моделей. Річ не в тому, що працівники ШІ-компанії скористалися ШІ. Їхня робота мала дати незалежну людську оцінку відповідей ChatGPT — саме її цінність ставиться під сумнів, якщо висновок або бал формує інша модель. Повідомлення про відсторонення стосуються ширшої роботи підрядників OpenAI. Project Lily — один із описаних напрямів людського оцінювання, але наявні матеріали не доводять, що кожен відсторонений працював саме в ньому.1613

Як працює оцінювання в Project Lily

За повідомленнями медіа, до Project Lily залучені сотні зовнішніх підрядників. Вони переглядають реальні запити до ChatGPT, а в окремих завданнях — і контекст розмови. Оцінювачів, як повідомляється, залучають через Crossing Hurdles, а виплати проходять через Mercor. Один із працівників розповів, що отримував понад 50 доларів США за годину; це не підтверджена ставка для всіх.220

Спершу оцінювач стисло описує, чого хотів користувач. Потім аналізує запропоновані відповіді ChatGPT, пише зауваження та ставить бали від 1 до 7. В одному завданні може бути до чотирьох варіантів відповіді. Серед того, на що звертають увагу, — тон, шаблонні «роботизовані» формулювання та надмірне бажання погодитися з користувачем. Оцінки й пояснення мають допомагати вдосконалювати поведінку наступних версій моделі.41131

Чому допомога ШІ тут є проблемою

Людина може самостійно визначити, чи відповідь справді допомагає користувачеві та чи не звучить неприродно або улесливо. Якщо ж зауваження пише або бал обирає інший ШІ, зворотний зв’язок уже може відображати вподобання моделі, а не судження незалежного оцінювача. Це ризик для якості даних, а не доказ того, що якась конкретна оцінка зашкодила моделі.416

За оприлюдненими повідомленнями, інструкції забороняють використовувати ШІ для перевірки завдань і написання відгуків — зокрема Grammarly та функції перекладу на основі ШІ. Оцінювачам, які перевіряють роботу інших підрядників, також не дозволяють покладатися на детектори ШІ: в інструкціях їх названо ненадійними.139

Як виявляють порушення — і чого це не доводить

За описами, керівники звертають увагу на повторювані формулювання, схожі на згенеровані ШІ, або незвично швидке виконання завдань, а не на показники детекторів. Такі ознаки можуть бути приводом для додаткової перевірки, але самі по собі не доводять порушення. З доступних матеріалів не зрозуміло, як часто перевіряльники правильно виявляють використання ШІ або пропускають його.933

Є й інше обмеження: оцінка, яку поставила людина, не обов’язково правильна чи сумлінна. Людина теж може помилитися, працювати недбало або навмисне поставити невдалий бал. Проте надані матеріали не підтверджують конкретного твердження про зізнання підрядника в умисному виставленні поганих оцінок. Тому встановити обставини такого випадку чи його поширеність неможливо. Позначка «оцінено людиною» говорить про походження відгуку, а не гарантує його надійність; важлива й перевірка якості самих суджень.14

Для користувачів Project Lily порушує ще й питання приватності. Оцінювачі можуть бачити текст реальних розмов, а фільтр, який, за повідомленнями, OpenAI застосовує для приховування особистих даних, здатен пропустити окремі чутливі відомості. Тож значення має не лише достовірність оцінок, а й те, як обробляють розмови користувачів.812