AnswersPublished26 sources
האם רשתות נוירונים כבר אינן קופסה שחורה?
חוקר Goodfire ניק קמרטה טוען שכלים משופרים והכללה רגילה עשויים להסביר חלק גדול ממה שנראה כמו מורכבות ברשתות נוירונים. במודלי ראייה הוא מדווח על עלייה מכ־5% לכ־99% בשיעור הנוירונים הניתנים לפירוש בשכבה האחרונה — אך אלה אינם נתונים שמוכיחים כי המודל כולו מובן.
פורסם על ידינערך באמצעות GPT-6 Lunaהתמונות נוצרו באמצעות GPT Image 2
Research answer
Key takeaways
- חוקר Goodfire ניק קמרטה טוען שכלים משופרים והכללה רגילה עשויים להסביר חלק גדול ממה שנראה כמו מורכבות ברשתות נוירונים.
- במודלי ראייה הוא מדווח על עלייה מכ־5% לכ־99% בשיעור הנוירונים הניתנים לפירוש בשכבה האחרונה — אך אלה אינם נתונים שמוכיחים כי המודל כולו מובן.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
במאמר שפרסם ב־15 באוקטובר 2026, "Neural Networks Are Already Clean", מציג ניק קמרטה טענה מסקרנת: ייתכן שחלק מהנוירונים שנראים כאילו הם משלבים מושגים לא קשורים משקפים דווקא מגבלות של כלי ניתוח ישנים, ארכיטקטורות מוקדמות או התפצלות של מאפיינים קשורים בתהליך של הכללה רגילה. לדבריו, לעיתים אפשר לחקור נוירונים ישירות, בלי לנסות תחילה "לפרום" אותם בעזרת מודל נוסף. התוצאות שהוא מדווח עליהן מעודדות, אך אינן מוכיחות שרשתות נוירונים — או התנהגותן כמכלול — כבר מובנות לנו. 5
10
26
מהי "הכללה רקורסיבית"?
ההשערה של קמרטה היא שתגובה של נוירון למאפיין מסוים עשויה להתרחב בהדרגה למאפיינים קשורים, וליצור מעין ענף של תגובות — ולא אוסף אקראי של מושגים שאין ביניהם קשר. בדוגמה לשונית שהוא מציג, נוירון מגיב תחילה לרצף האותיות "iy", אחר כך ל־"diy", ובהמשך לביטוי "do it yourself". הביטוי האחרון קשור במשמעות, אף שאינו מכיל את רצף האותיות המקורי. לפי ההצעה, אם מתייחסים לכל תגובה כאל תפקיד נפרד ולא קשור, אפשר לטעות ולחשוב שמדובר בערבוב מאפיינים. 2
6
10
הפרשנות הזאת מערערת על קריאה נפוצה של תופעת הרב־משמעות (polysemanticity): מצב שבו נדמה שנוירון יחיד מגיב לכמה מושגים. היא גם מטילה ספק בשאלה אם חייבים תחילה להשתמש בשיטה נפרדת לגילוי מאפיינים — למשל מקודד אוטומטי דליל (sparse autoencoder) — כדי להפוך מודל לניתן לפירוש. עם זאת, "הכללה רקורסיבית" אינה הוכחה לכך שתופעת הסופרפוזיציה אינה קיימת. זו הסבר אפשרי לחלק מהתגובות שנצפו, ולא תחליף מוכח לכל ההסברים לאופן שבו מודלים מייצגים מאפיינים. 5
15
נוירון ה״חתול והמכונית״ — בקריאה מחודשת
דוגמה מוכרת ממודל הראייה InceptionV1 נראתה כאילו נוירון אחד מגיב גם לפנים של חתולים וגם לחזיתות של מכוניות — ממצא שנראה כאילו הוא מלמד שהנוירון משלב קטגוריות לא קשורות. לפי הדיווחים, קמרטה מפרש מחדש את התגובה כזיהוי של מאפיין חזותי משותף, צורה דמוית האות V, ולא כייצוג עצמאי של "חתול" ושל "מכונית". הקריאה הזאת מחלישה את הדוגמה כראיה חד־משמעית לערבוב אקראי, אבל פרשנות מחודשת של נוירון אחד אינה מכריעה כיצד מאפיינים מיוצגים במודל כולו. 10
12
המקורות הזמינים אינם מספקים די פרטים כדי לשחזר באופן מהימן את ההסבר המחודש של קמרטה לדוגמת המעגל מ־2020, שבה הופיעו מכונית וכלב. לכן אי אפשר להעריך כאן כיצד הדוגמה הזאת תומכת בהשערה, מעבר לטענה הכללית שלפיה לתגובות שנראות מעורבות עשוי להיות הסבר משותף או קשר ביניהן.
שיעורי הפירוש שהוא מדווח עליהם
קמרטה מדווח על סדרת תוצאות בשכבה האחרונה של מודלי ראייה: כ־5% מהנוירונים בשכבה האחרונה של InceptionV1 היו ניתנים לפירוש בעזרת כלים שהיו זמינים ב־2017; כ־50% בעזרת כלים משופרים שהופעלו על אותה רשת; כ־70% לאחר אימון מחדש עם רגולריזציה מודרנית; וכ־99% במודל ConvNeXt שמספר הפרמטרים בו דומה, ואומן על אותם נתונים. הרצף מרמז שגם כלי הניתוח וגם ארכיטקטורת המודל עשויים להשפיע על מידת הקריאות של הנוירונים. אלה הערכות לגבי השכבה האחרונה — לא אחוזים מתוך כלל החישובים במודל שכבר הוסברו. 31
באשר ל־Qwen3-32B, בדיקה ראשונית של קמרטה מעריכה שכ־90% מכיווני התגובה של הנוירונים ממלאים תפקיד מרכזי אחד, לעיתים עם הסתעפויות קטנות וקשורות; לכ־7% יש שני תפקידים קשורים; וכ־2%–4% עדיין אינם מוסברים. הנתונים מתייחסים לכיווני תגובה של נוירונים, ולא להבנה מוכחת של כל רכיב או החלטה במודל השפה. השיעורים המדווחים משתנים גם לפי הסף שנקבע לתגובות חלשות, השכבות שנבדקות וההגדרה של "תפקיד" יחיד. 1
7
המאמר נדון גם לצד פרויקט של OpenAI לניתוח אוטומטי של פרשנות, שלפי הדיווחים הצליח להסביר כ־1.7% מהנוירונים שנבדקו בו. אין מדובר בהשוואה ישירה של לפני ואחרי מול הערכת Qwen3-32B: הפרויקטים עוסקים במודלים שונים, בכלים שונים ובמדדים שונים. לכן אין לקרוא את הפער כהוכחה מבוקרת לעלייה מסוימת ברמת הפרשנות. 9
12
מה מוסיפים סוכני AI — ומה עדיין לא ברור
בדיווחים על המאמר מתואר השימוש של קמרטה בכלים סוכניתיים מודרניים כחלק מהטיעון שאפשר לבדוק נוירונים ישירות ובהיקף גדול יותר. עם זאת, המקורות הזמינים כאן אינם מבהירים כיצד נוצרו 100,000 גרפי ייחוס (attribution graphs), או כיצד הגרפים האלה תרמו לממצאים. לכן אי אפשר לאמת על סמך החומר הזה את הפרט המתודולוגי הספציפי. 3
5
6
התוצאות על מודל השפה מתוארות כראשוניות, והמאמר עצמו כהשערת עבודה. לפי הדיווחים, מאמר טכני נלווה עדיין היה צפוי להתפרסם או טרם פורסם באותה עת. המקורות שסופקו אינם מעידים על שחזור בלתי תלוי של התוצאות, ואינם נותנים די מידע כדי להעריך את מידת הביטחון של החוקר בכל אחת מההערכות. 7
12
34
למה התגובות חלוקות?
ב־Latent Space הציגו את המאמר בהתלהבות, ותיארו ניתוח באמצעות סוכני AI כאתגר לתפיסה שלפיה רב־משמעות מקשה להפוך חקירה ישירה של נוירונים לבלתי מעשית. ניל ננדה מ־Google DeepMind מתואר בדיווחים כזהיר יותר: הוא עדיין מצפה למצוא סופרפוזיציה, וטוען שגם הפעלות חלשות עשויות להכיל מידע בעל משמעות, כולל עובדות שנשמרו בזיכרון. בדיווחים אחרים הביקורת שלו מתמקדת, לפחות בחלקה, בהגדרה של "תפקיד אחד" או של נוירון "חד־משמעי" (monosemantic), ולא רק בדחיית התצפיות המדווחות. 6
35
36
37
המקורות הזמינים אינם מתעדים את חילופי הדברים בפירוט מספיק כדי לבסס כל טענה בדבר הסכמה או מחלוקת — לרבות השאלה אם מסקנות ממודלי תמונה חלות גם על מודלי שפה, ואם ניתוח ברמת הנוירון מספיק כדי להבין מעגלים שלמים. השאלות האלה נותרות פתוחות, ואין להציג את אחוזי הפירוש המדווחים כאילו כבר הכריעו בהן.
המסקנה הזהירה
הטענה המרכזית של קמרטה היא שלפעמים המורכבות שנדמה לנו שאנחנו רואים נובעת מכלי הבדיקה ומהמודלים שבהם השתמשו החוקרים, ושייתכן שאפשר להבין נוירונים רבים יותר מכפי שמחקרים מוקדמים רמזו. התוצאות המדווחות במודלי הראייה והבדיקה הראשונית של Qwen3-32B הופכות את ההשערה הזאת למסקרנת. אבל הן אינן מוכיחות שסופרפוזיציה הופרכה, שלכל נוירון יש תפקיד יחיד וברור, או שהבנת נוירונים לבדה פירושה הבנת מודל שלם. 7
10
12
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "האם רשתות נוירונים כבר אינן קופסה שחורה?"?
חוקר Goodfire ניק קמרטה טוען שכלים משופרים והכללה רגילה עשויים להסביר חלק גדול ממה שנראה כמו מורכבות ברשתות נוירונים.
What are the key points to validate first?
חוקר Goodfire ניק קמרטה טוען שכלים משופרים והכללה רגילה עשויים להסביר חלק גדול ממה שנראה כמו מורכבות ברשתות נוירונים. במודלי ראייה הוא מדווח על עלייה מכ־5% לכ־99% בשיעור הנוירונים הניתנים לפירוש בשכבה האחרונה — אך אלה אינם נתונים שמוכיחים כי המודל כולו מובן.