AnswersPublished19 sources
נאדלה משנה כיוון: יכולות AI גדלות — אבל לא בהכרח גם הבטיחות
נאדלה אומר שבעבר ציפה שהתאמת AI למטרות אנושיות תופיע ככל שהמודלים יגדלו, אך כעת הוא לא רואה בכך תהליך אוטומטי. לדבריו, צריך לשלב התאמה כבר בשלב האימון, ובמקביל להציב בקרות חיצוניות שמגבילות את פעולות סוכני ה AI.
פורסם על ידינערך באמצעות GPT-6 Lunaהתמונות נוצרו באמצעות GPT Image 2
Research answer
Key takeaways
- נאדלה אומר שבעבר ציפה שהתאמת AI למטרות אנושיות תופיע ככל שהמודלים יגדלו, אך כעת הוא לא רואה בכך תהליך אוטומטי.
- לדבריו, צריך לשלב התאמה כבר בשלב האימון, ובמקביל להציב בקרות חיצוניות שמגבילות את פעולות סוכני ה AI.
- הרחבת Project Perception נועדה להעריך סיכונים, להתאים הרשאות ולבלום איומים — בלי להסתמך רק על כך שהמודל יתנהג כראוי.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How has Microsoft CEO Satya Nadella’s view changed on whether scaling AI models naturally aligns them with human goals, as explained in his. Article summary: Nadella has moved from expecting alignment to emerge naturally as AI models become more capable to treating it as a separate—and potentially harder—problem that scaling alone will not solve. His response is two-track: pu. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
סאטיה נאדלה, מנכ״ל מיקרוסופט, חוזר בו מההנחה שככל שמודלי בינה מלאכותית נעשים חזקים יותר, הם גם מתאימים מעצמם טוב יותר למטרות ולערכים אנושיים. בראיון לתוכנית 20VC ב־26 באוקטובר ובדברים שפורסמו ב־19 באוקטובר, הוא הציג את ההתאמה כבעיה נפרדת — כזו שהגדלת המודלים לבדה לא בהכרח תפתור. 5
11
יכולות גדלות אינן ערובה לבטיחות
התאמת AI, או alignment, היא הניסיון לוודא שמערכת תפעל בהתאם למטרות ולכוונות אנושיות. נאדלה סיפר שבעבר הניח שהתאמה כזו תגיע באופן טבעי ככל שהמודלים ישתפרו. כעת, לדבריו, אין קשר מובטח בין השניים: ההתאמה ״לא נובעת מעצם הגידול ביכולות״. 5
11
הוא גם הזהיר שהבנה מפורטת של האופן שבו מודלים מקבלים החלטות עלולה להישאר חמקמקה, אפילו כשהגדלת המודלים ממשיכה להניב שיפור ביכולות. לכן, ביצועים טובים יותר אינם מוכיחים לבדם שהמערכת בטוחה יותר — או מסבירים מדוע פעלה בדרך מסוימת. 5
המסקנה אינה לוותר על ניסיון לעצב את התנהגות המודל. לפי סיכומי דבריו ב־20VC, נאדלה סבור שיש להטמיע התאמה במסגרת האימון, ואולי כבר בשלב האימון המקדים, ולא לצפות שהיא תופיע מעצמה בהמשך. אותם סיכומים מציינים גם את ספקנותו לגבי האפשרות להשיג התאמה באמצעות למידת חיזוק בלבד. 2
8
לא רק לאמן את המודל — גם להגביל את מה שהוא יכול לעשות
אימון נועד להשפיע על התנהגות המודל; אמצעי בלימה עוסקים במה שהוא מורשה לבצע לאחר פריסתו. לשיטת נאדלה, אסור שהגנות בשלב השימוש יהיו תלויות בכך שבעיית ההתאמה כבר נפתרה: ארגונים צריכים להציב בקרות מחוץ למודל, במקביל להמשך העבודה עליו. 2
5
הגישה הזו עומדת ברקע להרחבת Project Perception של מיקרוסופט, שעליה הודיע נאדלה ב־19 באוקטובר. לדבריו, הפרויקט יקבל יכולות להערכת סיכונים של סוכני AI, להתאמת הרשאות ולבלימת איומים. הרעיון הוא להתייחס לסוכנים כאל סיכון אפשרי בתוך הארגון — לא בהכרח מפני שהם זדוניים, אלא מפני שלא נכון להעניק להם סמכות בלי בקרות עצמאיות. 1
14
במונחים מעשיים, חשוב להפריד בין היכולת של מודל להציע פעולה או להתחיל בה, לבין ההרשאה לבצע אותה. הרשאות ואמצעי בלימה חיצוניים יכולים לצמצם את טווח הפעולה של סוכן אם התנהגותו מפתיעה. במאמר שפרסם ב־10 באוקטובר, נאדלה קרא גם להניח שמודל עלול להיפגע, ולוודא שאדם מורשה יוכל לעצור אותו או להשהות את פעילותו באמצע משימה. 18
22
העיקרון: לא להסתמך על אמון עיוור
השינוי בעמדתו של נאדלה מפריד בין התקדמות ביכולות לבין בטיחות. אם התאמה אינה מגיעה בהכרח עם הגדלת המודל, אין להסיק שמודל בטוח יותר רק משום שהוא מבצע משימות טוב יותר. הגישה שהוא מתאר פועלת בשני מסלולים: לקדם התאמה כבר באימון, ולבנות מערכות חיצוניות שיוכלו להגביל מודלים בזמן השימוש. 2
5
זה גם הבסיס לעיקרון האמון שלו: המערכת האמינה ביותר היא זו שלא מחייבת בני אדם לסמוך על המודל בעיניים עצומות. בסיקור המאמר שלו צוטט נאדלה מתאר אותה כ״זו שמאפשרת לנו לסמוך על המודל הכי פחות״. 9
הטענה המרכזית כאן אינה שכל אמצעי הגנה מסוים כבר אומץ או הוכח. היא מצומצמת יותר: הגדלת מודל אינה ערובה להתאמה, ולכן יש לשלב מאמצי אימון עם בקרות חיצוניות ופיקוח אנושי. 1
5
18
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "נאדלה משנה כיוון: יכולות AI גדלות — אבל לא בהכרח גם הבטיחות"?
נאדלה אומר שבעבר ציפה שהתאמת AI למטרות אנושיות תופיע ככל שהמודלים יגדלו, אך כעת הוא לא רואה בכך תהליך אוטומטי.
What are the key points to validate first?
נאדלה אומר שבעבר ציפה שהתאמת AI למטרות אנושיות תופיע ככל שהמודלים יגדלו, אך כעת הוא לא רואה בכך תהליך אוטומטי. לדבריו, צריך לשלב התאמה כבר בשלב האימון, ובמקביל להציב בקרות חיצוניות שמגבילות את פעולות סוכני ה AI.
What should I do next in practice?
הרחבת Project Perception נועדה להעריך סיכונים, להתאים הרשאות ולבלום איומים — בלי להסתמך רק על כך שהמודל יתנהג כראוי.
Sources
ceointerviews.aiHow Security Leaders Can Prepare for Super Intelligence — Satya Nadella
businessinsider.comSatya Nadella Changed His Mind on the Inevitably of AI Alignment
bidclub.ai20VC: Satya Nadella on Open vs Closed Models: Who Wins
blumify.ioSatya Nadella: what they said, interviews and podcasts - Blumify