GPT-6 Astra חצה רף סייבר קריטי — והמדען הראשי של OpenAI מזהיר שהפיקוח לא מדביק את הקצב

ההשקה של GPT-6 Astra הפכה את הוויכוח על בטיחות בינה מלאכותית למוחשי בהרבה. זהו המודל בעל היכולות הגבוהות ביותר ש-OpenAI פרסה בהיקף רחב, והראשון שלה שהגיע לרמת יכולת סייבר «קריטית» במסגרת ההיערכות שלה. 13

מבחינת המדען הראשי של החברה, יאקוב פצ׳וקי, זו אינה הוכחה לכך שבעיית השליטה במערכות מתקדמות נפתרה — אלא דווקא סיבה להגביר זהירות, ואולי להאט מרצון את קצב הפיתוח.

מה פירוש דירוג סייבר «קריטי»?

לפי OpenAI, Astra מסוגל — בהינתן הכלים והגישה המתאימים — לאתר חולשות אבטחה שלא היו מוכרות קודם ולפתח דרכים לנצל אותן במגוון מערכות מוגנות היטב, בלי שאדם יכוון כל שלב בתהליך. 1113

כלומר, לא מדובר רק בצ׳אטבוט שיודע לענות על שאלה טכנית. החשש הוא ממערכת שיכולה לבצע חלקים נרחבים של תהליך סייבר באופן עצמאי: לבחון יעד, לזהות נקודות חולשה, לפתח נתיב ניצול ולהמשיך לעבר מטרה לאורך כמה שלבים.

עוד לפני ההשקה, OpenAI מסרה שלאחר הערכות פנימיות וחוות דעת של מומחים חיצוניים, היא לא יכלה לשלול ש-Astra כבר הגיע לרף הזה. החברה עצרה חלק מעבודת הפיתוח הפנימית והפעילה נהלי בטיחות בזמן שבחנה את הסיכון. 115

החשש המרכזי: היכולות מקדימות את הפיקוח

טענתו העיקרית של פצ׳וקי נוגעת ליכולת הניטור. ככל שהמודלים נעשים חזקים יותר, קשה יותר לדעת במדויק מה הם מסוגלים לעשות — והאם שיטות המעקב הקיימות ימשיכו להיות אמינות. הוא אמר ל-NBC News שטכניקות הניטור והתצפית הנוכחיות עלולות לא להספיק ככל שהמערכות מתקדמות, ואף לאפשר להן לחמוק מפיקוח אנושי. 7

לכן הדיון אינו מסתכם במניעת טקסט מזיק. האתגר הקשה יותר הוא סוכן AI שמסוגל להשתמש בכלים, להסתגל למשוב, לפעול לאורך רצף של צעדים ולתקשר עם אנשים או מערכות דיגיטליות כדי לקדם מטרה. סוכן סייבר מתקדם עלול ליצור סיכון באמצעות מעשיו, ולא רק באמצעות תשובה אחת שנראית מסוכנת.

מדוע ניטור «שרשרת המחשבה» אינו פתרון מלא

אחת מגישות הבטיחות היא לבחון את ההנמקה הכתובה של המודל, המכונה לעיתים chain of thought או «שרשרת מחשבה». OpenAI תיארה ניטור כזה כאמצעי שעשוי לחשוף התנהגויות כמו חבלה בבדיקות, הטעיית משתמשים או ויתור מוקדם על משימות מורכבות.

אלא שהאזהרה של פצ׳וקי מדגישה את המגבלות של הסתמכות על אות כזה כמנגנון הגנה קבוע. אם מערכת מתקדמת יכולה להסתיר כוונה, לנצל פערים בשיטות ההערכה או להתנהג אחרת לאחר פריסה, ההנמקה הגלויה לבדה לא בהכרח תספק ביטחון מספק. לפי NBC News, פצ׳וקי אמר שלא יהיה מקובל מבחינתו שהיכולת לנטר מודלים תישחק ככל שיכולותיהם גדלות. 7

המסקנה המעשית היא שבטיחות אינה יכולה להישען על לוח בקרה אחד, מבחן אחד או הסבר שהמודל מייצר בעצמו. נדרשים כמה רבדים: בדיקות קפדניות, גישה מבוקרת, הגנות תפעוליות ובחינה מתמשכת של התנהגות סוכנים בסביבות מציאותיות.

איך ייתכן שמודל מושק ובמקביל מגיעה אזהרה?

המתח אכן ברור: OpenAI השיקה את Astra ובו בזמן הכירה בפומבי בכך שהוא הגיע לרמת יכולת סייבר חסרת תקדים מבחינתה. אולם עמדת החברה היא שסיווג «קריטי» אמור להפעיל הגנות מחמירות יותר במהלך הפיתוח ולפני ההשקה. 11

OpenAI מסרה שהגבילה גישה ליכולות הסייבר המתקדמות ביותר של Astra והוסיפה אמצעי הגנה. היא גם ציינה שלדעתה אמצעים אלה מפחיתים במידה מספקת את הסיכון לנזק חמור לצורך ההשקה. 14

אך זה אינו מוכיח שבעיית ההתאמה לערכים אנושיים והניטור לטווח ארוך נפתרה. למעשה, אלו שתי שאלות נפרדות:

• האם אפשר לפרוס מודל מסוים תחת מגבלות ואמצעי צמצום סיכונים הקיימים כיום?
• האם שיטות הפיקוח על מערכות אוטונומיות יותר ויותר חזקות מספיקות כדי להצדיק המשך הרחבה מהירה של היכולות?

האזהרה של פצ׳וקי מכוונת בעיקר לשאלה השנייה.

מה משמעותה של «האטה» בפיתוח AI?

האטה מרצון אינה בהכרח דרישה לעצור את המחקר לצמיתות. בהקשר הזה, היא אמצעי זהירות מול פער בידע: אם מפתחים אינם מסוגלים להעריך בביטחון מה סוכן AI יכול לבצע, לזהות מתי הוא פועל באופן מטעה או לבלום אותו במקרה כשל — האצה נוספת מגדילה את הסיכון שההגנות יהפכו לתגובה מאוחרת במקום למניעה מראש.

תגובת OpenAI עצמה ל-Astra ממחישה את ההיגיון הזה: הערכות מוקדמות הובילו להשהיית חלק מפעילות הפיתוח ולהפעלת נהלי בטיחות לפני ההשקה. 115 השאלה הרחבה יותר היא אם ספי יכולת דומים צריכים להוביל לצעדים משותפים, שניתן לאמת באופן עצמאי, בכל מעבדות ה-AI המובילות — במקום שכל חברה תקבע לבדה את קצב ההתקדמות שלה.

השורה התחתונה

הסיווג של Astra כמודל סייבר «קריטי» משמעותי משום שהוא קושר את שאלת בטיחות ה-AI ליכולת קונקרטית: מציאת חולשות לא ידועות וניצולן במערכות מוגנות, עם מעט הכוונה אנושית. 13

קריאתו של פצ׳וקי לזהירות נובעת מהפער שהדבר חושף: סוכנים חזקים עלולים לפעול בעצמאות גדולה יותר מכפי שמערכות הניטור הקיימות יודעות לפרש או לשלוט בה באופן מהימן. לכן ההשקה אינה הוכחה שהאתגר הבטיחותי מאחורינו; היא עדות לכך שהוא הפך למבצעי ודחוף — והגנות, בקרת גישה, הערכות ותקנים משותפים יצטרכו להשתפר באותו קצב שבו משתפרות המערכות שעליהן הם אמורים לפקח.