אנתרופיק חושפת: קלוד בונה את עצמו – וקוראת להאטה בתעשייה לפני שיהיה מאוחר מדי
אנתרופיק חשפה כי קלוד כותב כעת יותר מ 80% מהקוד הממוזג שלה, מה שהוביל לעלייה של פי 8 בתפוקת המהנדסים, ומזהירה כי שיפור עצמי רקורסיבי – שבו בינה מלאכותית מתכננת באופן אוטונומי את יורשה – עלול להגיע מוקדם מהצפוי לרוב המ... מדדים פנימיים מראים קפיצה מפי 2.9 לפי 52 באופטימיזציית קוד אימון, והתרחבות משך המשימות האוטונומי...
פורסם על ידינערך באמצעות DeepSeek-V4-Proהתמונות נוצרו באמצעות GPT Image 1.5
אנתרופיק חשפה כי קלוד כותב כעת יותר מ 80% מהקוד הממוזג שלה, מה שהוביל לעלייה של פי 8 בתפוקת המהנדסים, ומזהירה כי שיפור עצמי רקורסיבי – שבו בינה מלאכותית מתכננת באופן אוטונומי את יורשה – עלול להגיע מוקדם מהצפוי לרוב המ...
מדדים פנימיים מראים קפיצה מפי 2.9 לפי 52 באופטימיזציית קוד אימון, והתרחבות משך המשימות האוטונומיות מ 30 שניות ל 12 שעות בארבע שנים, כשקצב ההשתפרות מוכפל כל ארבעה חודשים.
בעוד אנתרופיק קוראת להאטה כלל תעשייתית ניתנת לאימות כדי להעריך סיכונים, OpenAI נוקטת גישה שונה ומציעה עד 445,000 דולר לחוקר בטיחות שיבלום את הסיכונים של בינה מלאכותית המשפרת את עצמה במסגרת פדרלית.
What did Anthropic reveal in its Thursday blog post about AI-driven recursive self-improvement, including the specific internal data on ClauAI-generated editorial hero image for What did Anthropic reveal in its Thursday blog post about AI-driven recursive self-improvement, including the specific internal data on Clau.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What did Anthropic reveal in its Thursday blog post about AI-driven recursive self-improvement, including the specific internal data on Clau. Article summary: Below is a comprehensive breakdown of Anthropic's Thursday, June 4, 2026, blog post "When AI Builds Itself" and the surrounding context.. Topic tags: general, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# Claude's Dreaming Feature: Self-Improving Agents from Anthropic. Anthropic launched Dreaming for Claude Managed Agents at Code with Claude 2026. Agents now review past sessions d" source context "Claude Dreaming Feature | Self-Improving AI Agents" Reference image 2: visual subject "Abstract visualization of an artificial intelligence neural network processing and learning patterns" source cont
openai.com
ב-4 ביוני 2026, פרסמה אנתרופיק (Anthropic) הערכה חדה ומטרידה על היכולות המואצות של הבינה המלאכותית. הפוסט בבלוג, שכותרתו "When AI Builds Itself" (כשבינה מלאכותית בונה את עצמה), שפורסם על ידי מכון אנתרופיק, אינו הרהור תיאורטי אלא אזהרה המגובה בנתונים: התהליך שבו מערכות בינה מלאכותית משפרות את יורשותיהן בעצמן איננו עוד מדע בדיוני – הוא קורה ממש עכשיו בתוך החברה, והקצב עולה על כל הציפיות .
הדו"ח מגיע ברגע קריטי, שבו שתי מעבדות הבינה המלאכותית המובילות, אנתרופיק ו-OpenAI, מתכנסות לאותה דאגה בסיסית אך נפרדות באופן חד בשאלת הפתרון הנדרש. אנתרופיק משתמשת בנתונים הפנימיים שלה כדי לטעון להאטה מכוונת וניתנת לאימות בכל התעשייה. OpenAI, שפרסמה אג'נדת מדיניות ציבורית משלה יום קודם לכן ומגייסת כעת חוקר בטיחות בשכר גבוה במיוחד לתרחיש המדויק הזה, דוגלת דווקא בניטור פדרלי ובבלימה, מבלי ללחוץ על דוושת הבלמים .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "אנתרופיק חושפת: קלוד בונה את עצמו – וקוראת להאטה בתעשייה לפני שיהיה מאוחר מדי"?
אנתרופיק חשפה כי קלוד כותב כעת יותר מ 80% מהקוד הממוזג שלה, מה שהוביל לעלייה של פי 8 בתפוקת המהנדסים, ומזהירה כי שיפור עצמי רקורסיבי – שבו בינה מלאכותית מתכננת באופן אוטונומי את יורשה – עלול להגיע מוקדם מהצפוי לרוב המ...
What are the key points to validate first?
אנתרופיק חשפה כי קלוד כותב כעת יותר מ 80% מהקוד הממוזג שלה, מה שהוביל לעלייה של פי 8 בתפוקת המהנדסים, ומזהירה כי שיפור עצמי רקורסיבי – שבו בינה מלאכותית מתכננת באופן אוטונומי את יורשה – עלול להגיע מוקדם מהצפוי לרוב המ... מדדים פנימיים מראים קפיצה מפי 2.9 לפי 52 באופטימיזציית קוד אימון, והתרחבות משך המשימות האוטונומיות מ 30 שניות ל 12 שעות בארבע שנים, כשקצב ההשתפרות מוכפל כל ארבעה חודשים.
What should I do next in practice?
בעוד אנתרופיק קוראת להאטה כלל תעשייתית ניתנת לאימות כדי להעריך סיכונים, OpenAI נוקטת גישה שונה ומציעה עד 445,000 דולר לחוקר בטיחות שיבלום את הסיכונים של בינה מלאכותית המשפרת את עצמה במסגרת פדרלית.
אנתרופיק חושפת: קלוד בונה את עצמו – וקוראת להאטה בתעשייה לפני שיהיה מאוחר מדי
אנתרופיק חשפה כי קלוד כותב כעת יותר מ 80% מהקוד הממוזג שלה, מה שהוביל לעלייה של פי 8 בתפוקת המהנדסים, ומזהירה כי שיפור עצמי רקורסיבי – שבו בינה מלאכותית מתכננת באופן אוטונומי את יורשה – עלול להגיע מוקדם מהצפוי לרוב המ... מדדים פנימיים מראים קפיצה מפי 2.9 לפי 52 באופטימיזציית קוד אימון, והתרחבות משך המשימות האוטונומי...
פורסם על ידינערך באמצעות DeepSeek-V4-Proהתמונות נוצרו באמצעות GPT Image 1.5
אנתרופיק חשפה כי קלוד כותב כעת יותר מ 80% מהקוד הממוזג שלה, מה שהוביל לעלייה של פי 8 בתפוקת המהנדסים, ומזהירה כי שיפור עצמי רקורסיבי – שבו בינה מלאכותית מתכננת באופן אוטונומי את יורשה – עלול להגיע מוקדם מהצפוי לרוב המ...
מדדים פנימיים מראים קפיצה מפי 2.9 לפי 52 באופטימיזציית קוד אימון, והתרחבות משך המשימות האוטונומיות מ 30 שניות ל 12 שעות בארבע שנים, כשקצב ההשתפרות מוכפל כל ארבעה חודשים.
בעוד אנתרופיק קוראת להאטה כלל תעשייתית ניתנת לאימות כדי להעריך סיכונים, OpenAI נוקטת גישה שונה ומציעה עד 445,000 דולר לחוקר בטיחות שיבלום את הסיכונים של בינה מלאכותית המשפרת את עצמה במסגרת פדרלית.
What did Anthropic reveal in its Thursday blog post about AI-driven recursive self-improvement, including the specific internal data on ClauAI-generated editorial hero image for What did Anthropic reveal in its Thursday blog post about AI-driven recursive self-improvement, including the specific internal data on Clau.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What did Anthropic reveal in its Thursday blog post about AI-driven recursive self-improvement, including the specific internal data on Clau. Article summary: Below is a comprehensive breakdown of Anthropic's Thursday, June 4, 2026, blog post "When AI Builds Itself" and the surrounding context.. Topic tags: general, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "# Claude's Dreaming Feature: Self-Improving Agents from Anthropic. Anthropic launched Dreaming for Claude Managed Agents at Code with Claude 2026. Agents now review past sessions d" source context "Claude Dreaming Feature | Self-Improving AI Agents" Reference image 2: visual subject "Abstract visualization of an artificial intelligence neural network processing and learning patterns" source cont
openai.com
ב-4 ביוני 2026, פרסמה אנתרופיק (Anthropic) הערכה חדה ומטרידה על היכולות המואצות של הבינה המלאכותית. הפוסט בבלוג, שכותרתו "When AI Builds Itself" (כשבינה מלאכותית בונה את עצמה), שפורסם על ידי מכון אנתרופיק, אינו הרהור תיאורטי אלא אזהרה המגובה בנתונים: התהליך שבו מערכות בינה מלאכותית משפרות את יורשותיהן בעצמן איננו עוד מדע בדיוני – הוא קורה ממש עכשיו בתוך החברה, והקצב עולה על כל הציפיות .
הדו"ח מגיע ברגע קריטי, שבו שתי מעבדות הבינה המלאכותית המובילות, אנתרופיק ו-OpenAI, מתכנסות לאותה דאגה בסיסית אך נפרדות באופן חד בשאלת הפתרון הנדרש. אנתרופיק משתמשת בנתונים הפנימיים שלה כדי לטעון להאטה מכוונת וניתנת לאימות בכל התעשייה. OpenAI, שפרסמה אג'נדת מדיניות ציבורית משלה יום קודם לכן ומגייסת כעת חוקר בטיחות בשכר גבוה במיוחד לתרחיש המדויק הזה, דוגלת דווקא בניטור פדרלי ובבלימה, מבלי ללחוץ על דוושת הבלמים .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "אנתרופיק חושפת: קלוד בונה את עצמו – וקוראת להאטה בתעשייה לפני שיהיה מאוחר מדי"?
אנתרופיק חשפה כי קלוד כותב כעת יותר מ 80% מהקוד הממוזג שלה, מה שהוביל לעלייה של פי 8 בתפוקת המהנדסים, ומזהירה כי שיפור עצמי רקורסיבי – שבו בינה מלאכותית מתכננת באופן אוטונומי את יורשה – עלול להגיע מוקדם מהצפוי לרוב המ...
What are the key points to validate first?
אנתרופיק חשפה כי קלוד כותב כעת יותר מ 80% מהקוד הממוזג שלה, מה שהוביל לעלייה של פי 8 בתפוקת המהנדסים, ומזהירה כי שיפור עצמי רקורסיבי – שבו בינה מלאכותית מתכננת באופן אוטונומי את יורשה – עלול להגיע מוקדם מהצפוי לרוב המ... מדדים פנימיים מראים קפיצה מפי 2.9 לפי 52 באופטימיזציית קוד אימון, והתרחבות משך המשימות האוטונומיות מ 30 שניות ל 12 שעות בארבע שנים, כשקצב ההשתפרות מוכפל כל ארבעה חודשים.
What should I do next in practice?
בעוד אנתרופיק קוראת להאטה כלל תעשייתית ניתנת לאימות כדי להעריך סיכונים, OpenAI נוקטת גישה שונה ומציעה עד 445,000 דולר לחוקר בטיחות שיבלום את הסיכונים של בינה מלאכותית המשפרת את עצמה במסגרת פדרלית.
שאלת המפתח כבר אינה האם הבינה המלאכותית תשפר את עצמה, אלא מתי – והאם המוסדות מוכנים לכך.
קלוד כותב את רוב הקוד של עצמו
המדד הפנימי המטלטל ביותר הוא המידה שבה הבינה המלאכותית כבר השתלטה על פעולת כתיבת הקוד הפיזית באנתרופיק. נכון למאי 2026, יותר מ-80% מכל הקוד שממוזג לבסיס הקוד של אנתרופיק נכתב על ידי קלוד . מדובר בקפיצה מרמות של אחוזים בודדים בלבד שנה קודם לכן, בפברואר 2025 . מוקדם יותר, ציין מנכ"ל אנתרופיק, דריו אמודיי, כי למעלה מ-90% מהקוד עבור מודלים ותכונות חדשים של קלוד נכתב על ידי בינה מלאכותית, והדו"ח החדש מאשר שהדומיננטיות הזו משתרעת על כל בסיס הקוד הממוזג של החברה .
אין מדובר רק בשיפור יעילות; זהו שינוי מבני בצינור הפיתוח. התוצאה היא שמהנדסי אנתרופיק משיקים כעת קוד בכמות גדולה פי שמונה ברבעון, בהשוואה לקו הבסיס של השנים 2021–2025 . צוואר הבקבוק ביצירת תוכנה עובר מכתיבה ובדיקות להגדרת מטרות, ארכיטקטורה ושיפוט.
ביצועי הבנצ'מרקים רוויים בקצב חסר תקדים
הדו"ח מספק ציר זמן של תאוצה מסחררת במספר מדדים סטנדרטיים של יכולות הנדסה ומחקר :
SWE-bench (הנדסת תוכנה בעולם האמיתי): בסוף 2023, מודלים השיגו ציון של כ-2%. נכון למועד פרסום הדו"ח, קלוד השיג 93.9%, ובכך למעשה הרווה בנצ'מרק שנועד לבדוק תיקון באגים ברמה אנושית על בעיות אמיתיות מ-GitHub .
CORE-Bench (שחזור מחקר שפורסם): שיעורי ההצלחה של הבינה המלאכותית זינקו מכ-20% ב-2024 לרוויה מלאה של הבנצ'מרק כעבור חמישה עשר חודשים בלבד .
אופטימיזציית קוד אימון לבינה מלאכותית: בנצ'מרק פנימי זה, המבקש ממודל לבצע אופטימיזציה לקוד המאמן מודל שפה קטן, הראה זינוק מדהים. במאי 2025, ההאצה הממוצעת הייתה פי 2.9. עד אפריל 2026, עם המודל טרום-ההשקה Claude Mythos Preview, היא הגיעה לפי 52 . אדם מיומן שעובד לבד יזדקק לארבע עד שמונה שעות כדי להשיג שיפור של פי 4; הדור הנוכחי של מודלי קלוד עולה על פי 50 .
מהירות האוטונומיה מוכפלת כל ארבעה חודשים
אולי המדד המשמעותי ביותר לחיזוי שיפור עצמי רקורסיבי הוא משך הזמן של משימות אוטונומיות. מחקר של METR עוקב אחרי כמה זמן בינה מלאכותית יכולה לעבוד באופן עצמאי בשיעור הצלחה של 50%. אופק משימות זה התרחב מכ-30 שניות ב-2022 ל-12 שעות עם Claude Opus 4.6 באפריל 2026 – עלייה של פי 1,440 . התצוגה המקדימה של Claude Mythos יכולה לעבוד לפחות 16 שעות, מה שמצוין כקרוב לגבול העליון ש-METR יכול למדוד כיום . קצב ההכפלה של אופק זה הואץ מכל שבעה חודשים לכל ארבעה חודשים .
שליש מהעבודה בסיוע בינה מלאכותית לא הייתה מעשית בעבר
הנתונים הכמותיים על קוד ובנצ'מרקים מצטרפים לסקרים פנימיים על פריון אנושי. ניתוח של 200,000 תמלילי שיחות פנימיות עם קלוד ו-53 ראיונות עומק מצא כי 27% מהמשימות בסיוע בינה מלאכותית היו משימות שעובדים פשוט לא היו מנסים לבצע בלעדיה, משום שעלות הזמן הפכה אותן לבלתי-מעשיות קודם לכן . אין מדובר באוטומציה של עבודה קיימת, אלא בהרחבה של מה שאפשרי לנסות מלכתחילה. במחקר פנימי נפרד מנובמבר 2025, עובדים דיווחו על שימוש בקלוד ב-60% מעבודתם והעריכו שיפור פריון של 50%, עלייה מ-20% בשנה הקודמת .
להאט או לבלום את הסיכון: קרע הולך ומעמיק
עמדתה של אנתרופיק מפורשת. החברה קובעת, "אנחנו עדיין לא שם, ושיפור עצמי רקורסיבי אינו בלתי נמנע. אבל הוא עלול להגיע מוקדם יותר ממה שרוב המוסדות ערוכים לו" . היא טוענת כי יכולת גלובלית לעצור או להאט את פיתוח הבינה המלאכותית "תהיה ככל הנראה דבר טוב", וקוראת ישירות למעבדות אחרות לשקול זאת .
באותו שבוע, פעולותיה של OpenAI ציירו תמונה מנוגדת. ב-3 ביוני, OpenAI פרסמה אג'נדת מדיניות ציבורית הקוראת למסגרת בטיחות פדרלית לבינה מלאכותית מתקדמת, הכוללת הערכות מודל מחייבות והגנות על חושפי שחיתויות, אך גם עם סעיף קריטי: מניעת תחולתם של חוקי בטיחות מדינתיים . היא מבקשת במפורש ממכון הבטיחות הפדרלי לבינה מלאכותית CAISI לתעדף ניטור ההתקדמות לעבר שיפור עצמי רקורסיבי . במקביל, OpenAI מאיישת כוח אדם בדיוק עבור הסיכון הזה, ויצרה תפקיד של "חוקר, מוכנות לשיפור עצמי רקורסיבי" בתוך צוות הבטיחות שלה, עם חבילת שכר מפורסמת של 295,000 עד 445,000 דולר . התפקיד ממוסגר כבעיית בלימה של אובדן שליטה, מאמץ "בעל טעם טוב ואסטרטגי" למתן סיכונים ש"עשויים להתקיים בעתיד, אך אולי אינם קיימים כעת" .
שתי המעבדות רואות את אותו הגל מתקרב, אבל אנתרופיק דוחקת בצי להאט, בעוד ש-OpenAI מגייסת מצילים וטוענת נגד כל מדינה בודדת שתכריז על איסור שחייה.
שלושת הצעדים לעבר בינה מלאכותית שבונה את עצמה
הפוסט בבלוג מתאר מסלול בן שלושה שלבים לעבר הסיכון האולטימטיבי :
האצה בהכוונה אנושית (עכשיו): בינה מלאכותית מסייעת למהנדסים אנושיים, כותבת את רוב הקוד, אך בני האדם קובעים מטרות ומפעילים שיפוט.
מחקר והנדסה אוטונומיים: בינה מלאכותית יכולה לבצע ניסויים מוגדרים היטב מתחילתם ועד סופם ללא הנחיה אנושית על השיטות; נותר פער בקביעת מטרות ברמה גבוהה ובשיפוט.
שיפור עצמי רקורסיבי מלא ("סגירת הלולאה"): בינה מלאכותית מתכננת, בונה ומאמנת באופן אוטונומי את יורשתה, עם פיקוח אנושי מזערי או בלעדיו.
מייסד-שותף של אנתרופיק, ג'ק קלארק, העריך בנפרד הסתברות של 60% ש"לולאה" זו תיסגר עד סוף 2028 . הנתונים הפנימיים בפוסט מ-4 ביוני מספקים את הבסיס העובדתי לכך שהערכה זו אינה היפותזה רחוקה, אלא השלכה מעקומה שכבר נראית מתכופפת כלפי מעלה.
OpenAI Hires in Preparation for AI That Could Train Itself
שאלת המפתח כבר אינה האם הבינה המלאכותית תשפר את עצמה, אלא מתי – והאם המוסדות מוכנים לכך.
קלוד כותב את רוב הקוד של עצמו
המדד הפנימי המטלטל ביותר הוא המידה שבה הבינה המלאכותית כבר השתלטה על פעולת כתיבת הקוד הפיזית באנתרופיק. נכון למאי 2026, יותר מ-80% מכל הקוד שממוזג לבסיס הקוד של אנתרופיק נכתב על ידי קלוד . מדובר בקפיצה מרמות של אחוזים בודדים בלבד שנה קודם לכן, בפברואר 2025 . מוקדם יותר, ציין מנכ"ל אנתרופיק, דריו אמודיי, כי למעלה מ-90% מהקוד עבור מודלים ותכונות חדשים של קלוד נכתב על ידי בינה מלאכותית, והדו"ח החדש מאשר שהדומיננטיות הזו משתרעת על כל בסיס הקוד הממוזג של החברה .
אין מדובר רק בשיפור יעילות; זהו שינוי מבני בצינור הפיתוח. התוצאה היא שמהנדסי אנתרופיק משיקים כעת קוד בכמות גדולה פי שמונה ברבעון, בהשוואה לקו הבסיס של השנים 2021–2025 . צוואר הבקבוק ביצירת תוכנה עובר מכתיבה ובדיקות להגדרת מטרות, ארכיטקטורה ושיפוט.
ביצועי הבנצ'מרקים רוויים בקצב חסר תקדים
הדו"ח מספק ציר זמן של תאוצה מסחררת במספר מדדים סטנדרטיים של יכולות הנדסה ומחקר :
SWE-bench (הנדסת תוכנה בעולם האמיתי): בסוף 2023, מודלים השיגו ציון של כ-2%. נכון למועד פרסום הדו"ח, קלוד השיג 93.9%, ובכך למעשה הרווה בנצ'מרק שנועד לבדוק תיקון באגים ברמה אנושית על בעיות אמיתיות מ-GitHub .
CORE-Bench (שחזור מחקר שפורסם): שיעורי ההצלחה של הבינה המלאכותית זינקו מכ-20% ב-2024 לרוויה מלאה של הבנצ'מרק כעבור חמישה עשר חודשים בלבד .
אופטימיזציית קוד אימון לבינה מלאכותית: בנצ'מרק פנימי זה, המבקש ממודל לבצע אופטימיזציה לקוד המאמן מודל שפה קטן, הראה זינוק מדהים. במאי 2025, ההאצה הממוצעת הייתה פי 2.9. עד אפריל 2026, עם המודל טרום-ההשקה Claude Mythos Preview, היא הגיעה לפי 52 . אדם מיומן שעובד לבד יזדקק לארבע עד שמונה שעות כדי להשיג שיפור של פי 4; הדור הנוכחי של מודלי קלוד עולה על פי 50 .
מהירות האוטונומיה מוכפלת כל ארבעה חודשים
אולי המדד המשמעותי ביותר לחיזוי שיפור עצמי רקורסיבי הוא משך הזמן של משימות אוטונומיות. מחקר של METR עוקב אחרי כמה זמן בינה מלאכותית יכולה לעבוד באופן עצמאי בשיעור הצלחה של 50%. אופק משימות זה התרחב מכ-30 שניות ב-2022 ל-12 שעות עם Claude Opus 4.6 באפריל 2026 – עלייה של פי 1,440 . התצוגה המקדימה של Claude Mythos יכולה לעבוד לפחות 16 שעות, מה שמצוין כקרוב לגבול העליון ש-METR יכול למדוד כיום . קצב ההכפלה של אופק זה הואץ מכל שבעה חודשים לכל ארבעה חודשים .
שליש מהעבודה בסיוע בינה מלאכותית לא הייתה מעשית בעבר
הנתונים הכמותיים על קוד ובנצ'מרקים מצטרפים לסקרים פנימיים על פריון אנושי. ניתוח של 200,000 תמלילי שיחות פנימיות עם קלוד ו-53 ראיונות עומק מצא כי 27% מהמשימות בסיוע בינה מלאכותית היו משימות שעובדים פשוט לא היו מנסים לבצע בלעדיה, משום שעלות הזמן הפכה אותן לבלתי-מעשיות קודם לכן . אין מדובר באוטומציה של עבודה קיימת, אלא בהרחבה של מה שאפשרי לנסות מלכתחילה. במחקר פנימי נפרד מנובמבר 2025, עובדים דיווחו על שימוש בקלוד ב-60% מעבודתם והעריכו שיפור פריון של 50%, עלייה מ-20% בשנה הקודמת .
להאט או לבלום את הסיכון: קרע הולך ומעמיק
עמדתה של אנתרופיק מפורשת. החברה קובעת, "אנחנו עדיין לא שם, ושיפור עצמי רקורסיבי אינו בלתי נמנע. אבל הוא עלול להגיע מוקדם יותר ממה שרוב המוסדות ערוכים לו" . היא טוענת כי יכולת גלובלית לעצור או להאט את פיתוח הבינה המלאכותית "תהיה ככל הנראה דבר טוב", וקוראת ישירות למעבדות אחרות לשקול זאת .
באותו שבוע, פעולותיה של OpenAI ציירו תמונה מנוגדת. ב-3 ביוני, OpenAI פרסמה אג'נדת מדיניות ציבורית הקוראת למסגרת בטיחות פדרלית לבינה מלאכותית מתקדמת, הכוללת הערכות מודל מחייבות והגנות על חושפי שחיתויות, אך גם עם סעיף קריטי: מניעת תחולתם של חוקי בטיחות מדינתיים . היא מבקשת במפורש ממכון הבטיחות הפדרלי לבינה מלאכותית CAISI לתעדף ניטור ההתקדמות לעבר שיפור עצמי רקורסיבי . במקביל, OpenAI מאיישת כוח אדם בדיוק עבור הסיכון הזה, ויצרה תפקיד של "חוקר, מוכנות לשיפור עצמי רקורסיבי" בתוך צוות הבטיחות שלה, עם חבילת שכר מפורסמת של 295,000 עד 445,000 דולר . התפקיד ממוסגר כבעיית בלימה של אובדן שליטה, מאמץ "בעל טעם טוב ואסטרטגי" למתן סיכונים ש"עשויים להתקיים בעתיד, אך אולי אינם קיימים כעת" .
שתי המעבדות רואות את אותו הגל מתקרב, אבל אנתרופיק דוחקת בצי להאט, בעוד ש-OpenAI מגייסת מצילים וטוענת נגד כל מדינה בודדת שתכריז על איסור שחייה.
שלושת הצעדים לעבר בינה מלאכותית שבונה את עצמה
הפוסט בבלוג מתאר מסלול בן שלושה שלבים לעבר הסיכון האולטימטיבי :
האצה בהכוונה אנושית (עכשיו): בינה מלאכותית מסייעת למהנדסים אנושיים, כותבת את רוב הקוד, אך בני האדם קובעים מטרות ומפעילים שיפוט.
מחקר והנדסה אוטונומיים: בינה מלאכותית יכולה לבצע ניסויים מוגדרים היטב מתחילתם ועד סופם ללא הנחיה אנושית על השיטות; נותר פער בקביעת מטרות ברמה גבוהה ובשיפוט.
שיפור עצמי רקורסיבי מלא ("סגירת הלולאה"): בינה מלאכותית מתכננת, בונה ומאמנת באופן אוטונומי את יורשתה, עם פיקוח אנושי מזערי או בלעדיו.
מייסד-שותף של אנתרופיק, ג'ק קלארק, העריך בנפרד הסתברות של 60% ש"לולאה" זו תיסגר עד סוף 2028 . הנתונים הפנימיים בפוסט מ-4 ביוני מספקים את הבסיס העובדתי לכך שהערכה זו אינה היפותזה רחוקה, אלא השלכה מעקומה שכבר נראית מתכופפת כלפי מעלה.
OpenAI Hires in Preparation for AI That Could Train Itself