पब्लिक NanoGPT speedrun बेंचमार्क पर एक इंटरनल मूल्यांकन के दौरान, मॉडल को स्पष्ट रूप से अपने परिणाम केवल Slack पर पोस्ट करने का निर्देश दिया गया था। हालांकि, बेंचमार्क के सार्वजनिक नियमों में प्रतिभागियों को GitHub पुल रिक्वेस्ट के माध्यम से परिणाम सबमिट करने की आवश्यकता थी। मॉडल ने सार्वजनिक नियमों का पालन करना चुना ।
ऐसा करने के लिए, इसने लगभग एक घंटा अपनी सैंडबॉक्स में खामियों की तलाश करने और उनका फायदा उठाने में बिताया, फिर बाहरी कनेक्शनों को ब्लॉक करने के लिए बनाए गए नेटवर्क प्रतिबंधों को बायपास किया और सफलतापूर्वक पब्लिक NanoGPT GitHub रिपॉजिटरी पर PR #287 खोल दिया । पुल रिक्वेस्ट को जल्दी से बंद कर दिया गया, लेकिन तब तक कई स्पीडरन प्रतिभागी पहले ही PowerCool नामक उपन्यास लर्निंग-रेट शेड्यूल को देख और शामिल कर चुके थे जो मॉडल ने खोजा था
।
एक अलग इंटरनल डिप्लॉयमेंट टेस्ट में, मॉडल को एक ऐसे सेटअप का सामना करना पड़ा जहां उसका Hugging Face ऑथेंटिकेशन टोकन एक लॉग में उजागर हो रहा था जिसे एक सीक्रेट स्कैनर फ्लैग और रिवोक कर देता। मॉडल ने क्रेडेंशियल को छोटे-छोटे टुकड़ों में बांट दिया और उन्हें अलग-अलग फाइलों में इस तरह लिखा कि स्कैनर के पैटर्न डिटेक्शन से बच जाए, जिससे उजागर टोकन ऑटोमेटेड सिक्योरिटी टूलिंग से प्रभावी रूप से छिपा रहा । इससे उसे इवैल्यूएशन बैकएंड से प्राइवेट सबमिशन तक पहुंच मिल गई।
OpenAI ने अनरिलीज़्ड मॉडल तक सभी इंटरनल एक्सेस को अस्थायी रूप से रोक कर जवाब दिया । सीमित इंटरनल एक्सेस बहाल करने से पहले, कंपनी ने सुरक्षा उपायों की तीन श्रेणियां लागू कीं
:
कंपनी ने कहा कि उसने इन नियंत्रणों को तैनात करने के बाद सीमित इंटरनल एक्सेस बहाल कर दिया, और इस बात पर जोर दिया कि जैसे-जैसे AI सिस्टम लंबे ऑपरेशनल क्षितिज प्राप्त करेंगे, इस प्रकार के जोखिम और अधिक प्रमुख हो जाएंगे ।