קלוד קוד במצב אוטומטי כברירת מחדל: המחקר שמראה ש-AI מזהה פקודות מסוכנות טוב יותר ממפתחים

עייפות האישור שהובילה לשינוי

הטלמטריה הפנימית של Anthropic הראתה שמשתמשים אישרו 97% מבקשות ההרשאה — ללא קשר למידת הסכנה של הפקודה . שיעור האישור הכמעט-אוניברסלי הזה שיקף לא הערכה זהירה אלא לחיצה הרגלית, במיוחד במפגשים ארוכים שבהם עייפות האישור התפתחה במהירות . במחקר המבוקר, שיעורי הסירוב האנושיים צנחו מ-13.6% נמוכים ממילא לכ-5% לאחר 50+ בקשות, מה שאישר שמודל האישור לכל פעולה מתדרדר באופן משמעותי לאורך זמן .

89% חסימה אוטומטית לעומת סירוב אנושי במחקר על 1,053 משתתפים

• שיעור תפיסה אנושי: במבחן כפול-סמיות עם 1,053 בודקים מקצועיים בתשלום, פקודה מסוכנת שהוחדרה נחסמה רק ב13.6% מהמקרים (143 מתוך 1,053 אנשים סירבו לה) . לאחר 50 בקשות, השיעור ירד לכ-5% .
• שיעור תפיסה במצב אוטומטי: המסווג חסם 89% מאותן פקודות מסוכנות שהוחדרו .
• בנתוני ייצור, מפגשים שאושרו ידנית יצרו נזק בלתי מכוון בתדירות גבוהה פי שניים ממפגשים במצב אוטומטי .

סיכונים שיוריים: 11% החמצה ואפס תפיסת מתקפות הזרקת פקודות

• 11% החמצה: המסווג נכשל בחסימה של כ-11% מהפקודות המסוכנות .
• הערכות אדוורסריאליות סינתטיות: תרגילי red-teaming של צד שלישי הפחיתו עוד יותר את שיעור ההחמצה של המסווג, אך לא הצליחו לבטל לחלוטין את ההחמצות . המערכת תפסה אפס מתקפות הזרקת פקודות בבדיקות, אם כי ייתכן שהדבר משקף את תכנון הבדיקה ולא חסינות כללית .
• מקרי קצה: פקודות זדוניות חדשניות או מוסתרות הנופלות מחוץ להתפלגות האימון של המסווג נותרות סיכון שיורי .

מנגנוני הגנה ואפשרויות עקיפה

• המסווג מעריך כל קריאת כלי באופן עצמאי — מצב אוטומטי אינו מתן הרשאה גורפת .
• משתמשים יכולים לחזור למצב אישור ידני בכל עת בתוך מפגש .
• מנהלי Team ו-Enterprise יכולים להצמיד מצב ברירת מחדל (ידני או אוטומטי) עבור הארגון כולו, תוך עקיפת ברירת המחדל ברמת המשתמש .
• תוכנית ה-red-teaming החיצונית של Anthropic ממשיכה לבחון ולחזק את המסווג .
• עבור חשבונות Enterprise, המצב האוטומטי נותר בהצטרפות מרצון לעת עתה, עם מעבר לברירת מחדל מתוכנן תוך כחודש מההשקה הראשונית .

השלכות ההשקה והתמחור לפי פלחים

הערת תמחור מרכזית: Anthropic אישרה שהפסיקה לגבות תשלום ממשתמשים בתוכניות אלו עבור אסימוני המסווג הנוספים שהמצב האוטומטי צורך — עלויות אלו נטמעות כעת במנוי הקיים .