उत्तरप्रकाशित3 घंटे पहलेLast edited 3 घंटे पहले22 स्रोत

Meta के AI क्रॉलर की भारी आवाजाही से कलाकार की वेबसाइट ठप होने की नौबत

चेल्सी पॉलस ने बताया कि Meta के एक क्रॉलर ने 48 घंटे में उनकी वेबसाइट पर 5.5 लाख से अधिक अनुरोध भेजे; रिपोर्टों में होस्टिंग संसाधनों के अपनी सीमा तक पहुंचने की बात है। Meta ExternalAgent और Meta WebIndexer के बताए गए काम अलग हैं; एक को रोकने से दूसरे की गतिविधि अपने आप नहीं रुकती। पॉलस ने इसे जानबूझकर किया गया हमला...

प्रकाशितकर्ताGPT-6 Luna से संपादितGPT Image 2 से चित्र बनाए गए

Studio Global AI के साथ खोजें और तथ्यों की जांच करें और ट्रेंडिंग पेज देखें

शोध उत्तर

मुख्य निष्कर्ष

चेल्सी पॉलस ने बताया कि Meta के एक क्रॉलर ने 48 घंटे में उनकी वेबसाइट पर 5.5 लाख से अधिक अनुरोध भेजे; रिपोर्टों में होस्टिंग संसाधनों के अपनी सीमा तक पहुंचने की बात है।
Meta ExternalAgent और Meta WebIndexer के बताए गए काम अलग हैं; एक को रोकने से दूसरे की गतिविधि अपने आप नहीं रुकती।
पॉलस ने इसे जानबूझकर किया गया हमला नहीं माना। उपलब्ध रिपोर्टें भी यह साबित नहीं करतीं कि Meta ने उन्हें निशाना बनाया या उनकी रोकने की कोशिशों को जानबूझकर दरकिनार किया।

Conceptual illustration of automated web requests crowding a small business website — How did Meta’s AI crawlers allegedly disrupt the business website of San Diego children’s author and illustrator Chelsea Paulus, including SAn editorial illustration of crawler traffic putting pressure on a small business website.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: How did Meta’s AI crawlers allegedly disrupt the business website of San Diego children’s author and illustrator Chelsea Paulus, including S. Article summary: Paulus alleged that Meta’s automated crawlers exhausted her website’s hosting resources rather than bringing paying customers, leaving her business site effectively offline; Business Insider’s report confirms her allegat. Topic tags: general, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
openai.com

किसी वेबसाइट पर अचानक बहुत ज्यादा स्वचालित अनुरोध आने से छोटे कारोबार को असली नुकसान हो सकता है—भले ही उन्हें भेजने के पीछे दुर्भावना का सबूत न हो। सैन डिएगो की बच्चों की लेखिका और चित्रकार चेल्सी पॉलस के अनुसार, Meta के क्रॉलर ने उनकी वेबसाइट पर इतनी भारी आवाजाही की कि होस्टिंग संसाधन सीमा तक पहुंच गए। रिपोर्टों में 48 घंटे के भीतर 5.5 लाख से अधिक अनुरोधों का जिक्र है।53 इससे वेबसाइट मालिकों के सामने एक व्यावहारिक सवाल खड़ा होता है: जब कोई क्रॉलर उनकी साइट को चलाने वाली होस्टिंग पर दबाव डालता है, तो वे उस पर कितना नियंत्रण रख सकते हैं?

पॉलस की वेबसाइट पर क्या हुआ

पॉलस के चार वेबसाइट एक ही SiteGround होस्टिंग प्लान साझा करते थे। 24 अक्टूबर को SiteGround ने उन्हें चेतावनी दी कि प्लान ने अपने CPU संसाधनों का 80% इस्तेमाल कर लिया है।2 यह साझा प्लान के कुल संसाधन इस्तेमाल का आंकड़ा था—इसका मतलब यह नहीं कि Meta अकेले किसी एक प्रोसेसर की क्षमता का 80% इस्तेमाल कर रहा था।

Fast Company की रिपोर्ट के मुताबिक, Meta-ExternalAgent नाम का क्रॉलर उनकी साइट के “remove from cart” फ़ंक्शन को बार-बार कॉल करता रहा। इससे प्रति मिनट 100 से ज्यादा अनुरोध आए और अगले कुछ दिनों में कुल संख्या लगभग 5.5 लाख तक पहुंच गई।6 पॉलस ने उस क्रॉलर को ब्लॉक किया, लेकिन दो दिन बाद Meta-WebIndexer दिखाई दिया। Fast Company के अनुसार, तब CPU का इस्तेमाल 100% तक पहुंचा और साइट क्रैश हो गई।6 Business Insider ने भी पॉलस के हवाले से 48 घंटे में 5.5 लाख से अधिक बॉट विज़िट और होस्टिंग संसाधनों के खत्म होने की बात कही।53

इन रिपोर्टों से वेबसाइट पर नुकसानदेह स्तर की ट्रैफिक बढ़ोतरी का मोटा घटनाक्रम सामने आता है। लेकिन इनसे यह साबित नहीं होता कि Meta ने जानबूझकर पॉलस की साइट को निशाना बनाया या सही ढंग से लगाए गए ब्लॉक को जानबूझकर चकमा दिया। पॉलस ने खुद कहा कि उन्हें नहीं लगता कि यह जानबूझकर किया गया हमला था।2

दोनों क्रॉलर का बताया गया काम अलग है

Meta-ExternalAgent के बारे में बताया गया है कि यह फ़ाउंडेशन AI मॉडल को प्रशिक्षित करने या सामग्री को सीधे इंडेक्स करके उत्पाद बेहतर बनाने जैसे कामों के लिए कंटेंट क्रॉल करता है।12 इसके उलट, Meta-WebIndexer का उद्देश्य Meta AI के खोज नतीजों में मदद करना है, ताकि उसके जवाबों में सामग्री का हवाला और लिंक दिया जा सके।55

यह फर्क उस वेबसाइट मालिक के लिए मायने रखता है जो तय करना चाहता है कि किस स्वचालित बॉट को साइट पर आने दिया जाए। एक क्रॉलर को ब्लॉक करने से दूसरे की गतिविधि जरूरी नहीं रुकेगी, क्योंकि दोनों के काम अलग हैं और उन्हें अलग-अलग नियंत्रित किया जा सकता है।7

Meta क्या कहता है कि साइट मालिक नियंत्रित कर सकते हैं

Meta के प्रवक्ता ने कहा कि वेबसाइट प्रबंधक यह तय कर सकते हैं कि कंपनी के क्रॉलर उनकी साइट से कैसे इंटरैक्ट करें।24 Meta की संशोधित व्यावसायिक शर्तों पर आई रिपोर्टिंग में कंपनी ने यह भी कहा कि साइट मालिक क्रॉलर की पहुंच नियंत्रित करने के लिए robots.txt का इस्तेमाल कर सकते हैं।26 इन शर्तों पर सवाल उठे थे, क्योंकि रिपोर्टों के मुताबिक उनसे विज्ञापनदाताओं से आगे भी क्रॉलिंग के अधिकार बढ़ते थे।26

robots.txt एक फ़ाइल है जो क्रॉलर को बताती है कि वह किन URL तक पहुंच सकता है। Google के मुताबिक, इस प्रोटोकॉल का एक मुख्य इस्तेमाल वेबसाइट पर अनुरोधों का बोझ कम करना है।18 लेकिन पॉलस का अनुभव दिखाता है कि नियंत्रण का दावा और व्यवहार में कारगर सुरक्षा हमेशा एक ही बात नहीं होते। उपलब्ध रिपोर्टें यह स्पष्ट नहीं करतीं कि उनके ब्लॉक किस तरह सेट किए गए थे, दूसरा क्रॉलर क्यों आया या उसने किसी वैध निर्देश की अनदेखी की थी या नहीं।

छोटे कारोबारों के लिए बड़ी होती चुनौती

पॉलस का मामला उस व्यापक चिंता से जुड़ता है जिसमें स्वचालित ट्रैफिक छोटी वेबसाइटों पर दबाव डाल सकता है। Fast Company ने ऐसे साइट मालिकों की मुश्किलों का जिक्र किया है, जो ग्राहकों तक पहुंचने और उत्पाद बेचने के लिए अपनी वेबसाइट पर निर्भर हैं।6 साझा होस्टिंग पर चलने वाले कारोबार में अचानक बढ़ी आवाजाही साझा संसाधनों को प्रभावित कर सकती है—भले ही उससे बिक्री न हो।

DataDome के मुताबिक, 2026 की पहली छमाही में उसके द्वारा ट्रैक किए गए AI क्रॉलर ट्रैफिक में Meta से जुड़े बॉट्स की हिस्सेदारी 46.3% थी।1 51 यह DataDome के देखे गए ट्रैफिक का हिस्सा है, पूरे इंटरनेट के ट्रैफिक का नहीं। Cloudflare के 2026 के एक व्याख्यात्मक लेख में Meta-ExternalAgent को Googlebot के बाद अनुरोध भेजने वाला दूसरा सबसे सक्रिय बॉट बताया गया है।59 ये आंकड़े क्रॉलर गतिविधि का पैमाना समझाते हैं, लेकिन यह नहीं बताते कि ऐसी गतिविधि कितनी बार छोटे कारोबारों की व्यक्तिगत वेबसाइटों को बाधित करती है।

इस मामले से निकलने वाली साफ, लेकिन सीमित सीख यह है: पॉलस का बताया अनुभव दिखाता है कि क्रॉलर की गतिविधि होस्टिंग संसाधनों को खपा सकती है और छोटे कारोबार की ऑनलाइन मौजूदगी को खतरे में डाल सकती है। वहीं, उपलब्ध सबूत न तो जानबूझकर निशाना बनाए जाने की पुष्टि करते हैं, न ही यह बताते हैं कि उनकी ब्लॉक करने की कोशिशें आखिर क्यों नाकाम रहीं।

Studio Global AI

अपना शोध जारी रखें

इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।

Studio Global AI के साथ खोजें और तथ्यों की जांच करें

लोग पूछते भी हैं