TikTok के कथित सेफ्टी एक्सपेरिमेंट पर विवाद: 1.5 करोड़ यूज़र्स को पुराने एल्गोरिदम पर रखा गया

Bloomberg की रिपोर्ट के मुताबिक, TikTok ने अमेरिका में अपने करीब 10% यूज़र्स—उस समय लगभग 1.5 करोड़ लोग—को पुराने रिकमेंडेशन एल्गोरिदम पर बनाए रखा। कंपनी यह जांचना चाहती थी कि हानिकारक कंटेंट की लगातार सिफारिशों को कम करने वाला नया सुरक्षा फीचर ऐप की एंगेजमेंट या उसकी “स्टिकनेस” घटाता है या नहीं। 2

इस रिपोर्ट पर इसलिए गंभीर सवाल उठे हैं क्योंकि कथित कंट्रोल ग्रुप में नाबालिग भी शामिल थे। रिपोर्टिंग के अनुसार, 16 वर्षीय चेज़ नास्का के अकाउंट पर आत्महत्या, उदासी, निराशा और अकेलेपन से जुड़े हजारों वीडियो आने लगे। कुछ सप्ताह बाद नास्का की आत्महत्या से मृत्यु हो गई। उपलब्ध रिपोर्टिंग यह साबित नहीं करती कि TikTok उनके निधन का कारण था; लेकिन इससे यह सवाल जरूर उठता है कि कंपनी ने संभावित रूप से संवेदनशील यूज़र्स से एक सुरक्षा उपाय क्यों रोका। 2

TikTok ने कथित तौर पर क्या परीक्षण किया?

TikTok ने अपने रिकमेंडेशन सिस्टम में ऐसा बदलाव किया था जिसका उद्देश्य यूज़र्स को हाई-रिस्क विषयों से जुड़े एक जैसे कंटेंट से लगातार घिरने से बचाना था। इसका लक्ष्य उस स्थिति को तोड़ना था जिसमें यूज़र की रुचि या मानसिक स्थिति के अनुरूप एक ही तरह के परेशान करने वाले वीडियो बार-बार फीड में आने लगते हैं—इसे एक तरह का हानिकारक “रिकमेंडेशन स्पाइरल” या “फिल्टर बबल” कहा जा सकता है। 2

रिपोर्ट के अनुसार, कंपनी ने यह बदलाव सभी यूज़र्स पर एक साथ लागू करने के बजाय करीब 10% अमेरिकी यूज़र्स को पुराने एल्गोरिदम वाले कंट्रोल ग्रुप में रखा। कारोबारी सवाल यह था कि ज्यादा सुरक्षित वर्जन ऐप पर यूज़र्स का समय और जुड़ाव कम करता है या नहीं। 2

विवाद की असली वजह यही है कि यह कोई मामूली डिजाइन बदलाव नहीं था। परीक्षण में जिस चीज को रोका गया, वह संभावित रूप से हानिकारक कंटेंट के लगातार संपर्क को सीमित करने वाला सुरक्षा उपाय था। ऐसे में नैतिक सवाल यह है कि क्या किसी प्लेटफॉर्म को रैंडम तरीके से चुने गए यूज़र्स—खासकर बच्चों या पहले से संवेदनशील स्थिति में हो सकने वाले लोगों—से ऐसी सुरक्षा रोकने की अनुमति होनी चाहिए।

कंट्रोल ग्रुप के यूज़र्स पर क्या असर पड़ सकता था?

पुराने सिस्टम पर रखे गए यूज़र्स को आत्महत्या, आत्म-हानि, अवसाद, उदासी, अकेलेपन, ईटिंग डिसऑर्डर और संबंधित विषयों वाले दोहराए जाने वाले वीडियो अधिक दिखाई दे सकते थे। नास्का के अकाउंट के बारे में रिपोर्टिंग में कहा गया कि उनकी फीड इन श्रेणियों के हजारों वीडियो से भर गई थी। 2

उपलब्ध जानकारी से सावधानीपूर्ण निष्कर्ष यही निकलता है कि इस प्रयोग के कारण कुछ यूज़र्स TikTok द्वारा विकसित उस सुरक्षा से वंचित रह गए होंगे, जिसका उद्देश्य हानिकारक कंटेंट के जमाव को कम करना था। हालांकि, इससे अपने-आप यह साबित नहीं होता कि एल्गोरिदम ने किसी खास मानसिक स्वास्थ्य परिणाम या मृत्यु को जन्म दिया। इन दोनों दावों के बीच फर्क बनाए रखना जरूरी है।

सीनेटरों ने फैसले को “घृणित” क्यों कहा?

अमेरिकी सीनेटर मार्शा ब्लैकबर्न और रिचर्ड ब्लूमेंथल ने कहा कि TikTok ने जानबूझकर लाखों अमेरिकियों—बच्चों समेत—से एक एल्गोरिदमिक सुरक्षा उपाय इसलिए रोका, ताकि यह पता लगाया जा सके कि यूज़र्स की सुरक्षा करने से एंगेजमेंट पर असर पड़ता है या नहीं। दोनों ने इस फैसले को “depraved” यानी “घृणित” बताया और कंपनी से तुरंत स्पष्टीकरण मांगा। 1

सीनेटरों की चिंता सिर्फ एक अकाउंट या एक घटना तक सीमित नहीं है। उनके सवाल उस पूरी निर्णय प्रक्रिया पर केंद्रित हैं: प्रयोग को किसने मंजूरी दी, किन कर्मचारियों और अधिकारियों को इसकी जानकारी थी, क्या जोखिम का आकलन किया गया था और नाबालिगों को कंट्रोल ग्रुप में शामिल क्यों किया गया। 1

TikTok से पूछे गए 13 सवालों में क्या शामिल है?

सीनेटरों के पत्र में TikTok से कई बिंदुओं पर जवाब मांगा गया है, जिनमें शामिल हैं:

• सुरक्षा फीचर रोकने वाले परीक्षण में बच्चों को शामिल क्यों किया गया?
• किन कर्मचारियों और अधिकारियों को इस प्रयोग की जानकारी थी?
• परीक्षण को किसने मंजूरी दी और क्या उससे पहले जोखिम का आकलन किया गया था?
• प्रयोग से सुरक्षा और यूज़र्स की एंगेजमेंट पर क्या असर सामने आया?
• क्या अमेरिका में TikTok ने ऐसे अन्य प्रयोग किए, जिनमें सुरक्षा फीचर बंद या देर से लागू किए गए?
• क्या कंपनी परीक्षण से जुड़े आंतरिक दस्तावेज का पूरा, बिना संपादन वाला संस्करण उपलब्ध कराएगी? 111

रिपोर्ट के अनुसार, सीनेटरों ने TikTok को 1 सितंबर तक जवाब देने को कहा है। 11 इन जवाबों से यह स्पष्ट हो सकता है कि यह एक अलग उत्पाद-निर्णय था या सुरक्षा से जुड़े फीचरों के साथ प्रयोग करने की कोई व्यापक प्रक्रिया भी मौजूद थी।

क्या अभी साबित नहीं हुआ है?

उपलब्ध सामग्री के आधार पर यह निष्कर्ष नहीं निकाला जा सकता कि TikTok ने चेज़ नास्का की आत्महत्या का कारण बना। यह भी स्पष्ट नहीं है कि कितने अन्य यूज़र्स को इसी तरह की फीड मिली या प्रयोग के दौरान एंगेजमेंट पर वास्तविक प्रभाव कितना पड़ा।

हालांकि, रिपोर्टिंग में एक सीमित लेकिन महत्वपूर्ण तथ्य सामने आता है: TikTok ने कथित तौर पर करीब 1.5 करोड़ अमेरिकी यूज़र्स को पुराने रिकमेंडेशन सिस्टम पर रखा और उनमें नाबालिग भी शामिल थे, जबकि कंपनी यह परख रही थी कि नया सुरक्षा बदलाव एंगेजमेंट को प्रभावित करता है या नहीं। 2

TechCrunch की रिपोर्ट के समय TikTok ने टिप्पणी के अनुरोध का तुरंत जवाब नहीं दिया था। 15 अब विवाद का केंद्र सोशल मीडिया प्लेटफॉर्म्स की एक बुनियादी जवाबदेही पर है: जब किसी कंपनी के पास संभावित नुकसान को कम करने वाला सुरक्षा फीचर मौजूद हो, तो क्या एंगेजमेंट टेस्ट यह तय कर सकता है कि उस सुरक्षा का लाभ किन यूज़र्स को मिलेगा?