TikTok, по данным Bloomberg, тестировал вовлечённость за счёт функции безопасности

Bloomberg сообщил, что TikTok провёл эксперимент, в рамках которого около 10% пользователей платформы в США — примерно 15 миллионов человек на тот момент — продолжали пользоваться старой версией рекомендательного алгоритма. Компания проверяла, не сделает ли обновление безопасности приложение менее привлекательным для пользователей, то есть не снизит ли его вовлечённость и «липкость». 2

Ситуация вызвала особое внимание из-за того, что в контрольную группу, по данным расследования, попали несовершеннолетние. Среди них был 16-летний Чейз Наска. Его аккаунт впоследствии получил тысячи роликов о самоубийстве, грусти, безнадёжности и одиночестве. Через несколько недель Наска умер в результате самоубийства. Доступные публикации не доказывают, что TikTok стал причиной его смерти. Однако они объясняют, почему решение отложить защитное обновление оказалось в центре спора об ответственности компании. 2

Что именно тестировал TikTok

В 2021 году TikTok изменил систему рекомендаций, чтобы пользователи не сталкивались с потоком повторяющегося контента на потенциально опасные темы. Задача обновления заключалась в том, чтобы разрывать так называемую рекомендательную спираль: ситуацию, когда алгоритм снова и снова усиливает один и тот же тревожный интерес и формирует замкнутую информационную среду. 2

Но обновление, как утверждается, не распространили сразу на всех. Около 10% американских пользователей оставили на прежнем алгоритме в качестве контрольной группы. Бизнес-вопрос заключался в том, не приведёт ли более безопасная версия к падению вовлечённости. 2

Это принципиально важная деталь. В обычном продуктовом тестировании могут сравниваться косметические изменения интерфейса или необязательные функции. В данном случае спорным объектом эксперимента стала защита, предназначенная для ограничения контакта с потенциально вредным контентом. Отсюда возникает главный этический вопрос: может ли платформа сознательно откладывать внедрение такой меры для случайно выбранной группы, если среди пользователей есть уязвимые люди и дети?

Какой контент видели участники контрольной группы

Пользователи старой версии алгоритма могли чаще получать повторяющиеся рекомендации о самоубийстве, самоповреждении, депрессии, грусти, одиночестве, расстройствах пищевого поведения и близких темах. Согласно публикациям о случае Наски, его лента оказалась заполнена тысячами видео из этих категорий. 2

Осторожный вывод из имеющихся данных таков: эксперимент мог оставить некоторых пользователей без защиты, которую TikTok разработал для уменьшения скоплений опасного контента. Однако сам по себе этот факт не доказывает, что алгоритм вызвал конкретное ухудшение психического состояния или смерть. Это различие важно учитывать, оценивая как журналистские материалы, так и ответственность компании.

Почему сенаторы назвали эксперимент «безнравственным»

Сенаторы Марша Блэкберн и Ричард Блюменталь заявили, что TikTok сознательно не предоставил миллионам американцев — в том числе детям — алгоритмическую защиту, чтобы выяснить, повлияет ли она на вовлечённость. Они назвали решение «безнравственным» и потребовали от компании оперативных объяснений. 1

Законодателей интересует не только история одного аккаунта. Их вопросы касаются самого процесса принятия решения: кто санкционировал эксперимент, какие сотрудники и руководители знали о нём, проводилась ли оценка рисков и почему в контрольную группу допустили несовершеннолетних. 1

Что TikTok должен объяснить

В письме сенаторов содержится 13 вопросов. Среди них:

• почему в эксперимент, отключавший защитную функцию, включили детей;
• какие сотрудники и руководители знали о тестировании;
• кто утвердил эксперимент и проводилась ли перед ним оценка рисков;
• что именно тест показал с точки зрения безопасности и вовлечённости;
• проводил ли TikTok другие эксперименты в США, в которых функции безопасности отключались или внедрялись с задержкой;
• предоставит ли компания полную неотредактированную версию внутреннего документа, описывающего тест. 111

Сенаторы дали TikTok срок до 1 сентября для ответа. 11 Запрошенная информация должна показать масштаб эксперимента и уровень контроля за ним, а также помочь понять, был ли это единичный продуктовый выбор или часть более широкой практики, связанной с функциями безопасности.

Что пока нельзя утверждать

Имеющиеся материалы не подтверждают, что TikTok стал причиной самоубийства Наски. Они также не сообщают, сколько других пользователей получили сопоставимые ленты и каким в итоге оказался измеренный эффект эксперимента на вовлечённость.

Задокументированная часть истории уже достаточно серьёзна: TikTok, по данным Bloomberg, создал контрольную группу примерно из 15 миллионов пользователей в США, оставил её на старой системе рекомендаций и включил в неё несовершеннолетних, проверяя, повлияет ли защитное обновление на активность в приложении. 2

На момент публикации TechCrunch TikTok не дал немедленного ответа на запрос о комментарии. 15 Поэтому требование сенаторов сводится к базовому вопросу управления рекомендательными платформами: если у компании есть функция, призванная снизить предсказуемый риск вреда, может ли коммерческий тест вовлечённости определять, кто получит эту защиту, а кто — нет?