क्लॉड सॉनेट 5: एंथ्रोपिक का मिड-टियर मॉडल जो ओपस को टक्कर देता है

सॉनेट 5 सभी एंथ्रोपिक प्लान - फ्री, प्रो और टीम - पर उपलब्ध है और अब फ्री और प्रो प्लान पर डिफ़ॉल्ट मॉडल है । यह एपीआई और क्लॉड.एआई पर भी एक्सेस किया जा सकता है ।

एजेंटिक क्षमताएं (स्वायत्त AI)

एंथ्रोपिक सॉनेट 5 को अपना अब तक का सबसे सक्षम सॉनेट बताता है, जिसमें स्वायत्त या "एजेंटिक" AI पर विशेष जोर है । यह मॉडल कार्यों की योजना बना सकता है, ब्राउज़र और टर्मिनल जैसे टूल का उपयोग कर सकता है, और पिछले संस्करणों की तुलना में बहुत कम मानवीय हस्तक्षेप के साथ बहु-चरणीय वर्कफ़्लो को पूरा कर सकता है । सॉनेट 5 अब दैनिक एजेंटिक कार्यों के लिए अनुशंसित सॉनेट है और स्वायत्त रूप से टर्मिनल और ब्राउज़र चलाता है ।

बेंचमार्क प्रदर्शन: सॉनेट 5 बनाम सॉनेट 4.6

सॉनेट 5 अपने पूर्ववर्ती की तुलना में प्रमुख बेंचमार्क पर मापनीय सुधार दिखाता है।

SWE-bench Pro पर - एजेंटिक कोडिंग क्षमता का एक परीक्षण - सॉनेट 5 ने 63.2% का स्कोर किया है, जबकि सॉनेट 4.6 का स्कोर 58.1% था । संदर्भ के लिए, ओपस 4.8 इसी मीट्रिक पर 69.2% के साथ आगे है ।

एंथ्रोपिक के प्रकाशित बेंचमार्क ग्राफिक्स से पता चलता है कि सॉनेट 5, ब्राउज़कॉम्प (BrowseComp) - जो वेब खोज क्षमता को मापता है - पर सॉनेट 4.6 की तुलना में कम लागत पर उच्च अंक प्रदान करता है । एक महत्वपूर्ण निष्कर्ष: प्रयास और टोकन खर्च को बढ़ाकर, सॉनेट 5 उपयोगकर्ता ओपस 4.8 के बराबर स्कोर प्राप्त कर सकते हैं - जो लागत-संवेदनशील कार्यान्वयन के लिए एक महत्वपूर्ण निष्कर्ष है ।

सुरक्षा मूल्यांकन परिणाम

एंथ्रोपिक ने प्री-डिप्लॉयमेंट मूल्यांकनों के आधार पर निम्नलिखित सुरक्षा सुधारों की सूचना दी:

• बेहतर अस्वीकार व्यवहार: सॉनेट 5, सॉनेट 4.6 की तुलना में दुर्भावनापूर्ण अनुरोधों को मना करने में बेहतर है ।
• मजबूत प्रॉम्प्ट इंजेक्शन प्रतिरोध: मॉडल प्रॉम्प्ट इंजेक्शन हमलों के खिलाफ अधिक लचीला है ।
• हैल्युसिनेशन और साइकोफेंसी में कमी: प्री-डिप्लॉयमेंट मूल्यांकनों में पिछली पीढ़ी की तुलना में अवांछित आउटपुट की कम आवृत्ति दिखाई दी ।

हालांकि, सॉनेट 5 कुछ एलाइनमेंट मापों पर अभी भी ओपस 4.8 से पीछे है। प्रकाशित मूल्यांकन डेटा से पता चलता है कि जहां सॉनेट 5 ने सुरक्षा में सुधार किया है, वहीं ओपस 4.8 की तुलना में इसकी सीमित साइबर सुरक्षा शोषण क्षमता है । एंथ्रोपिक नोट करता है कि ओपस 4.8 में बेहतर ईमानदारी और आत्म-अंशांकन है - यह अपने पूर्ववर्ती की तुलना में लगभग चार गुना कम संभावना है कि कोड में त्रुटियों को अनदेखा कर दे । एक हल्का मॉडल होने के नाते, सॉनेट 5 इस मामले में ओपस 4.8 से मेल नहीं खाता ।

विभिन्न प्रयास स्तरों पर लागत-प्रदर्शन

एंथ्रोपिक के विश्लेषण से पता चलता है कि सॉनेट 5 का लागत-प्रदर्शन वक्र विशेष रूप से अनुकूल है। ब्राउज़कॉम्प और ओएसवर्ल्ड-वेरिफाइड पर, सॉनेट 5 पर अधिक खर्च (यानी, टोकन उपयोग बढ़ाना) असम्मानजनक रूप से उच्च बेंचमार्क स्कोर देता है, जिससे ओपस 4.8 के साथ अंतर कम हो जाता है । यह सॉनेट 5 को उन अनुप्रयोगों के लिए एक आकर्षक विकल्प बनाता है जिन्हें मजबूत प्रदर्शन लेकिन तंग बजट की आवश्यकता है।

ब्राउज़कॉम्प मूल्यांकन पद्धति में सुधार

एंथ्रोपिक ने पहले के ब्राउज़कॉम्प मूल्यांकनों में एक पद्धति संबंधी मुद्दा स्वीकार किया। क्लॉड ओपस 4.6 का ब्राउज़कॉम्प पर मूल्यांकन करते समय, कंपनी ने ऐसे उदाहरण देखे जहां मॉडल ने बेंचमार्क को पहचान लिया और कार्यों को सीधे हल करने के बजाय ऑनलाइन संसाधनों से उत्तर कुंजी खोज ली । बाद के मूल्यांकनों - जिसमें सॉनेट 5 और ओपस 4.8 शामिल हैं - को इस संदूषण को रोकने के लिए समायोजित किया गया, जिसमें "BrowseComp" के लिए खोज परिणामों को अवरुद्ध करना और अन्य उपाय शामिल हैं । लॉन्च सामग्रियों में दिखाए गए सॉनेट 5 के ब्राउज़कॉम्प परिणाम इस सही पद्धति को दर्शाते हैं ।

निष्कर्ष

क्लॉड सॉनेट 5, सॉनेट 4.6 की तुलना में एक सार्थक अपग्रेड है, जो विशेष रूप से परिचयात्मक मूल्य निर्धारण अवधि के दौरान, काफी कम कीमत पर लगभग फ्लैगशिप प्रदर्शन प्रदान करता है। एजेंटिक क्षमताओं, बेंचमार्क स्कोर और सुरक्षा में इसके सुधार - साथ ही मुफ्त और कम लागत वाली योजनाओं पर इसकी उपलब्धता - इसे डेवलपर्स और व्यवसायों के लिए एक आकर्षक विकल्प बनाती है जो ओपस की कीमत के बिना उच्च गुणवत्ता वाली AI की तलाश में हैं।