TikTokはなぜ安全機能を約1,500万人に適用しなかったのか

Bloombergは、TikTokが米国ユーザーの約10％を旧バージョンの推薦アルゴリズムに残す実験を実施していたと報じました。当時の対象者は、およそ1,500万人に相当します。検証の目的は、有害なコンテンツが同じテーマで集中して表示されるのを抑える安全機能によって、アプリの利用時間や「離れにくさ（stickiness）」が低下するかを確かめることだったとされています。2

問題視されているのは、安全機能を適用しない対照群に未成年者も含まれていたことです。報道によれば、16歳のチェイス・ナスカさんもその対象となり、アカウントには自殺、悲しみ、絶望、孤独などに関する動画が数千本表示されました。ナスカさんはその数週間後に自ら命を絶ちました。ただし、現在示されている報道だけでは、TikTokがその死を引き起こしたと断定することはできません。確認できるのは、安全対策を意図的に適用しなかった判断が、プラットフォームの責任をめぐる重大な論点になっているという点です。2

TikTokが検証した安全機能とは

TikTokは2021年、ユーザーが自殺、自傷、うつ、孤独、極端なダイエットなど、リスクの高いテーマの動画を次々と見続ける状態を抑えるため、推薦システムを変更したと報じられています。いわゆる「フィルターバブル」や、有害な推薦が同じ方向に連鎖する状態を断ち切ることが狙いでした。28

しかし、変更を全ユーザーに一斉適用するのではなく、米国ユーザーの約10％を対照群として旧アルゴリズムに残したとされています。企業側が確かめようとしたのは、より安全な推薦方式がエンゲージメント、つまり視聴や利用の継続にどのような影響を与えるかでした。2

通常のプロダクトテストなら、表示デザインや任意機能の使いやすさを比べるケースもあります。今回の論点は、ユーザーを有害な内容の集中表示から守るために開発された保護策を、無作為に選んだ一部の人々には遅れて届けたことです。とりわけ、すでに精神的に脆弱な状態にある可能性のあるユーザーや子どもを、こうした対照群に含めてよかったのかが問われています。

対照群のユーザーに起きたこと

旧システムの対象者は、自殺、自傷、抑うつ、悲しみ、孤独、摂食障害などに関連する動画を、より反復的に推薦される状態に置かれた可能性があります。ナスカさんのアカウントについては、こうしたカテゴリーの動画が数千本表示されるフィードに陥っていたと報じられています。2

ただし、ここから直ちに「アルゴリズムが特定の精神状態や死を引き起こした」と結論づけることはできません。報道が示す、より慎重な整理は、TikTokが有害コンテンツの集中表示を抑えるために開発した保護策を、一部ユーザーには提供しないままにした可能性がある、というものです。

なぜ上院議員は「堕落している」と批判したのか

米国のマーシャ・ブラックバーン上院議員とリチャード・ブルメンタール上院議員は、TikTokが安全機能によって利用時間が変わるかを調べるため、子どもを含む数百万人の米国ユーザーに保護策を意図的に適用しなかったと批判しました。2人はこの判断を「堕落している」と表現し、TikTokに速やかな説明を求めています。1

両議員が問題にしているのは、ひとつのアカウントで起きた結果だけではありません。誰が実験を承認したのか、どの従業員や幹部が知っていたのか、事前にリスク評価を行ったのか、そしてなぜ未成年者を対照群に含めたのか。安全に関わる機能を、利用指標の検証対象にした意思決定そのものが焦点になっています。1

TikTokに求められている13項目の回答

上院議員が送った書簡は、4ページにわたり13の質問を提示しています。主な内容は次の通りです。

• 安全機能を適用しない実験に、なぜ子どもを含めたのか
• どの従業員や幹部が実験を把握していたのか
• 誰が承認し、実施前にリスク評価を行ったのか
• 実験によって安全性とエンゲージメントにどのような結果が出たのか
• 米国で、安全機能を無効化または適用延期した別の実験も行ったのか
• 実験を説明する社内文書の完全かつ黒塗りのない版を提出するのか111

書簡では、TikTokのCEOであるショウ・ジー・チュー氏と、米国事業責任者のアダム・プレッサー氏への説明が求められており、回答期限は9月1日とされています。511

現時点で分かっていないこと

提供されている資料からは、TikTokがナスカさんの自殺を引き起こしたとは確認できません。また、同様のフィードを経験したユーザーが他に何人いたのか、実験によってエンゲージメントが最終的にどれほど変化したのかも明らかになっていません。

一方で、報道と上院議員の書簡から確認できる範囲では、TikTokはおよそ1,500万人の米国ユーザーを旧推薦システムに残し、有害コンテンツの集中表示を抑える更新を適用しない対照群を設けました。その中には未成年者も含まれていたとされています。2

TechCrunchが上院議員の要求を報じた時点で、TikTokはコメント要請にすぐには応じていませんでした。15 今後の説明で問われるのは、推薦プラットフォームに共通するガバナンスの問題です。企業が予見可能な被害を減らすための機能を持っている場合、その保護を誰に届けるかを、利用時間やエンゲージメントの検証で決めてよいのでしょうか。