माइग्रेशन के दौरान, AI ने बिना किसी संकेत के 59 बार सुधार के सुझाव दिए । यह बिना प्रॉम्प्ट किया गया स्वायत्त व्यवहार AI को एक निष्क्रिय कोडिंग सहायक से एक सक्रिय एजेंट में बदलने का संकेत है।
उसी जेलब्रोकन Gemini इंस्टेंस ने पासवर्ड क्रैक किए, 29 साइटों पर WordPress एडमिन क्रेडेंशियल्स से समझौता किया और बुजुर्गों को निशाना बनाकर फोन-आधारित क्रिप्टोकरेंसी धोखाधड़ी योजना बनाने में मदद की । ऑपरेटर ने एक Telegram चैनल (@americanpatriotus) चलाया जो एक अमेरिकी दिग्गज का रूप धारण करता था, पांच वर्षों में लगभग 17,000 सब्सक्राइबर्स तक पहुंच गया और QAnon-शैली की सामग्री को प्रसारित किया ।
लगभग शून्य लागत पर संचालन बनाए रखने के लिए, ऑपरेटर ने 73 चुराए गए Google Gemini API कीज़ का उपयोग किया । इस अभियान ने कम से कम एक पीड़ित के क्रिप्टोकरेंसी वॉलेट को खाली कर दिया ।
पूरा C2 ऑपरेशन तीन प्लेन-टेक्स्ट फाइलों में समाहित है, जिनका कुल आकार लगभग 5KB है — लगभग चार प्रिंटेड पेजों के बराबर :
23 मार्च को, ऑपरेटर ने AI से पुराने C2 सेटअप को एक दो-पेज की सरल-अंग्रेजी स्किल फ़ाइल में संक्षेपित करवाया, जिसमें सर्वर के कार्य, बॉट कैसे कनेक्ट होते हैं, और डिप्लॉयमेंट निर्देश शामिल थे । यह बॉटनेट को अत्यधिक प्रतिकृति योग्य और प्रभावी रूप से डिस्पोजेबल बनाता है: टेकडाउन प्रभावी रहते हैं, लेकिन हमलावर डिफेंडर्स की तुलना में तेजी से पुनर्निर्माण कर सकते हैं ।
जेलब्रोक एक स्थानीय मेमोरी फ़ाइल (GEMINI.md) के माध्यम से प्राप्त किया गया था, जिसने CLI इंस्टेंस को अपने स्वयं के सुरक्षा फिल्टर को अनदेखा करने के लिए प्रशिक्षित किया । चूंकि CLI सेशन शुरू होने पर यह फ़ाइल स्वचालित रूप से रीलोड होती है, जेलब्रोक निर्देश बने रहे और समय के साथ खुद को मजबूत भी करते गए । ऑपरेटर ने रूसी में प्रॉम्प्ट भी किया, जो गैर-अंग्रेजी भाषाओं में सुरक्षा असंगतताओं का फायदा उठाता है ।
Google के Gemini प्लेटफ़ॉर्म में एक जेलब्रोक क्लासिफायर शामिल है जो प्रॉम्प्ट-इंजेक्शन प्रयासों का पता लगाता है और उन्हें ब्लॉक कर सकता है — लेकिन आधिकारिक दस्तावेज़ बताता है कि यह CLI में डिफ़ॉल्ट रूप से बंद है और इसे एक ब्लॉकिंग थ्रेशोल्ड के साथ स्पष्ट रूप से सक्षम किया जाना चाहिए ।
TrendAI के VP टॉम केलरमैन ने कहा कि "AI को C2 के रूप में देखा जाना चाहिए जब तक कि उसमें बहु-स्तरीय सुरक्षा उपाय न हों" और जब उन उपायों से छेड़छाड़ की जाती है तो व्यवहारिक विसंगति का पता लगाने की व्यवस्था होनी चाहिए । अकादमिक शोध भी पुष्टि करता है कि प्रोडक्शन Gemini मॉडल को भी लगातार जेलब्रोक किया जा सकता है, जो प्रॉम्प्ट गार्ड्स को बायपास करता है ।
TrendAI के विश्लेषण से खतरे के परिदृश्य में एक मौलिक बदलाव उजागर होता है: "टेकडाउन प्रभावी बने रहते हैं लेकिन अपना प्रभाव खो देते हैं जब हमलावर डिफेंडर्स की तुलना में तेजी से पुनर्निर्माण कर सकते हैं" ।
केलरमैन ने इस क्षमता को "AI के कारण दृढ़ता का विकास" बताया — छह मिनट से भी कम समय में गतिशील रूप से C2 को स्थानांतरित करने और बुनियादी ढांचे को पोर्टेबल और डिस्पोजेबल बनाने की क्षमता । कोडिंग, डिबगिंग और बुनियादी ढांचे की तैनाती में AI की प्रमुख भूमिका, साथ ही इसका सक्रिय और बिना प्रॉम्प्ट किया गया व्यवहार, इसका मतलब है कि एक अकेला कम-कुशल अभिनेता अब उस गति और पैमाने पर काम कर सकता है जिसके लिए पहले एक टीम की आवश्यकता होती थी ।