틱톡의 ‘안전장치 보류 실험’이 던진 질문…참여도가 이용자 보호보다 우선이었나

블룸버그는 틱톡이 미국 이용자의 약 10%, 당시 약 1,500만 명을 기존 추천 알고리즘에 남겨둔 채 실험을 진행했다고 보도했다. 틱톡은 유해 콘텐츠가 특정 주제로 반복해서 몰리는 현상을 줄이는 안전 업데이트가 앱의 이용 시간이나 ‘끈끈함(stickiness)’을 떨어뜨리는지 확인하려 했던 것으로 전해졌다. 2

논란이 커진 이유는 이른바 대조군에 미성년자도 포함됐다는 점이다. 보도에 따르면 16세였던 체이스 나스카의 계정에는 자살, 슬픔, 절망, 외로움과 관련된 영상 수천 개가 추천됐다. 나스카는 몇 주 뒤 스스로 목숨을 끊었다. 다만 현재 공개된 보도만으로 틱톡이 그의 사망을 초래했다고 단정할 수는 없다. 확인되는 핵심은 틱톡이 개발한 안전장치가 적용되지 않은 이용자 집단에 이런 추천 환경이 나타났다는 점이며, 이 때문에 해당 실험의 책임 소재가 쟁점이 됐다는 것이다. 2

틱톡이 시험한 안전장치는 무엇이었나

틱톡은 2021년 추천 시스템을 조정해 이용자가 고위험 주제의 콘텐츠에 반복적으로 노출되는 위험을 줄이려 했다. 하나의 영상이나 관심사가 계속해서 비슷한 콘텐츠를 불러오는 ‘추천 악순환’ 또는 알고리즘 필터 버블을 완화하려는 목적이었다. 2

하지만 틱톡은 이 변경 사항을 모든 이용자에게 동시에 적용하지 않고, 미국 이용자의 10%를 기존 알고리즘에 남겨 대조군으로 삼은 것으로 알려졌다. 회사가 확인하려 한 사업적 질문은 안전성이 강화된 버전이 이용자 참여도, 즉 앱을 계속 사용하게 만드는 정도를 낮추는지 여부였다. 2

일반적인 제품 실험이라면 이용 편의나 화면 디자인처럼 위험성이 비교적 낮은 요소를 비교할 수 있다. 이번 사안에서 논란이 된 변수는 잠재적으로 유해한 콘텐츠의 반복 노출을 줄이기 위해 마련된 보호 기능이었다. 따라서 핵심 질문은 간단하다. 플랫폼이 참여도 변화를 측정하기 위해, 이미 취약할 수 있는 이용자를 포함한 무작위 집단에 안전장치 적용을 늦춰도 되는가다.

대조군 이용자에게 나타난 문제

기존 시스템을 사용한 이용자는 자살, 자해, 우울, 슬픔, 외로움, 섭식장애 등과 관련된 추천 콘텐츠에 더 오래, 반복적으로 노출될 가능성이 있었다. 나스카의 계정에는 이런 범주의 영상 수천 개가 쌓였다고 보도됐다. 2

현재 자료를 바탕으로 신중하게 말할 수 있는 범위는 이렇다. 틱톡의 실험으로 일부 이용자에게 유해 콘텐츠 집중 현상을 줄이기 위해 개발된 보호 기능이 제공되지 않았을 가능성이 있다. 그러나 알고리즘이 특정 정신건강 결과나 사망을 직접 일으켰다는 사실까지 이 실험만으로 입증되는 것은 아니다. 이 두 주장을 구분하는 일은 보도의 의미와 회사의 책임을 판단할 때 중요하다.

상원의원들이 ‘타락한 행위’라고 비판한 이유

마샤 블랙번 상원의원과 리처드 블루멘털 상원의원은 틱톡이 이용자 보호 기능이 참여도에 영향을 미치는지 확인하기 위해 수백만 명의 미국인, 그중에서도 어린이를 포함한 이용자에게 알고리즘 안전장치를 의도적으로 적용하지 않았다고 지적했다. 두 의원은 이 결정을 “depraved”라고 표현하며 틱톡에 신속한 설명을 요구했다. 1

이들이 문제 삼은 것은 특정 계정에서 발생한 결과만이 아니다. 두 의원의 질의는 실험을 둘러싼 의사결정 과정에 초점을 맞추고 있다. 누가 실험을 승인했는지, 어떤 직원과 경영진이 알고 있었는지, 사전 위험성 평가가 이뤄졌는지, 왜 미성년자가 대조군에 포함됐는지가 주요 쟁점이다. 1

틱톡이 답해야 할 13가지 질문

두 상원의원이 보낸 서한에는 13개 질문이 담겼다. 주요 내용은 다음과 같다.

• 안전 기능을 적용하지 않는 실험에 왜 어린이가 포함됐는가.
• 어떤 직원과 경영진이 실험 내용을 알고 있었는가.
• 누가 실험을 승인했으며, 사전 위험성 평가를 실시했는가.
• 실험 결과 안전성과 이용자 참여도에는 어떤 영향이 나타났는가.
• 미국에서 안전 기능을 끄거나 적용을 늦춘 다른 실험도 진행했는가.
• 실험을 설명한 내부 문서의 완전하고 편집되지 않은 원본을 제출할 것인가. 111

상원의원들은 틱톡에 9월 1일까지 답변할 것을 요구했다. 11 답변이 나온다면 이번 실험의 실제 범위와 감독 수준은 물론, 이것이 일회성 제품 결정이었는지 안전 관련 기능을 다룬 더 광범위한 관행의 일부였는지도 확인될 수 있다.

아직 확인되지 않은 사실

현재 자료만으로 틱톡이 나스카의 자살을 초래했다고 결론 내려서는 안 된다. 또한 비슷한 피드를 경험한 이용자가 얼마나 많았는지, 실험이 참여도에 미친 최종 측정 결과가 무엇이었는지도 제공된 자료에서는 확인되지 않는다.

다만 공급된 보도에서 비교적 분명하게 확인되는 사실은 있다. 틱톡이 약 1,500만 명의 미국 이용자를 대조군으로 삼아 기존 추천 시스템을 사용하게 했고, 안전 업데이트가 참여도에 미치는 영향을 평가하는 동안 그 집단에 미성년자도 포함됐다는 것이다. 2

테크크런치가 상원의원들의 요구를 보도할 당시 틱톡은 논평 요청에 즉시 답하지 않았다. 15 결국 이번 사안은 추천 플랫폼의 기본적인 거버넌스 문제를 묻는다. 예측 가능한 피해를 줄이기 위한 기능이 이미 마련돼 있다면, 참여도 실험이 누가 그 보호를 받을지를 결정해도 되는가.