ОтветыОпубликовано26 источники
Нейросети понятнее, чем казалось? Что утверждает Ник Каммарата — и чего его данные не доказывают
Исследователь Goodfire Ник Каммарата утверждает, что многие нейроны, которые выглядят как смесь несвязанных понятий, могут отражать обычное обобщение или ограничения старых инструментов анализа. В экспериментах с компьютерным зрением он сообщает о росте интерпретируемости нейронов последнего слоя примерно с 5% при с...
ОпубликовалОтредактировано с помощью GPT-6 LunaИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- Исследователь Goodfire Ник Каммарата утверждает, что многие нейроны, которые выглядят как смесь несвязанных понятий, могут отражать обычное обобщение или ограничения старых инструментов анализа.
- В экспериментах с компьютерным зрением он сообщает о росте интерпретируемости нейронов последнего слоя примерно с 5% при старых инструментах до 99% в сопоставимой по числу параметров модели ConvNeXt.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
В эссе «Neural Networks Are Already Clean», опубликованном 15 октября 2026 года, исследователь Goodfire Ник Каммарата предлагает пересмотреть представление о том, насколько трудно понять устройство нейросетей. По его версии, некоторые нейроны, которые кажутся активными сразу на нескольких несвязанных понятиях, могут быть неправильно истолкованы из-за ограничений методов анализа, особенностей старых архитектур или обычного обобщения модели. Вместо того чтобы сначала «распутывать» нейросеть с помощью другой модели, он предлагает чаще изучать нейроны напрямую. 5
10
26
Это смелый тезис, но не вывод о том, что нейросети уже полностью понятны. Приведённые Каммаратой результаты, особенно по языковой модели, предварительные и сами по себе не показывают, что исследователи объяснили всю работу модели или опровергли все существующие представления о её внутреннем устройстве. 7
10
12
Что такое «рекурсивное обобщение»
Каммарата описывает процесс, который называет «рекурсивным обобщением»: реакция нейрона может распространяться от одного признака на связанные с ним особенности, образуя своего рода ветвящуюся группу. Например, нейрон сначала откликается на сочетание букв «iy», затем — на «diy», а потом и на фразу «do it yourself», которая связана с исходным примером по смыслу, хотя этих букв в ней нет. Если считать каждую реакцию отдельной и никак не связанной с другими, нейрон может показаться смешивающим разные функции. 2
6
10
Эта идея ставит под вопрос привычную интерпретацию полисемантичности — ситуации, когда один нейрон, на первый взгляд, реагирует на несколько понятий. Она также оспаривает предположение, что перед изучением сети необходимо сначала выделить признаки отдельным методом, например с помощью разреженного автоэнкодера. Однако «рекурсивное обобщение» — возможное объяснение некоторых наблюдений, а не доказательство того, что суперпозиции в нейросетях не бывает. 5
15
Нейрон «кошка и автомобиль»: другой взгляд
Один из известных примеров из модели InceptionV1 — нейрон, который, судя по прежнему анализу, реагировал и на кошачьи морды, и на передние части автомобилей. Это выглядело как смешение двух несвязанных категорий. Каммарата предлагает другое объяснение: нейрон мог распознавать общий визуальный признак — V-образную форму, — а не отдельно «кошку» и «машину». Такая интерпретация делает этот пример менее убедительным доказательством произвольного смешения понятий. Но новое объяснение одного нейрона не решает вопрос о том, как признаки представлены во всей модели. 10
12
Имеющихся источников недостаточно, чтобы надёжно восстановить пересмотренное объяснение другого примера Каммараты — схемы связей «от автомобиля к собаке», которую он описывал в 2020 году. Поэтому здесь нельзя уверенно оценить, насколько именно этот случай подтверждает его гипотезу.
Какие показатели он приводит
Для моделей компьютерного зрения Каммарата сообщает о результатах анализа нейронов последнего слоя. С инструментами уровня 2017 года интерпретируемыми считались примерно 5% нейронов InceptionV1. При использовании более совершенных инструментов на той же сети доля, по его оценке, выросла примерно до 50%; после переобучения с современной регуляризацией — примерно до 70%. В сопоставимой по числу параметров модели ConvNeXt, обученной на том же наборе данных, показатель достиг примерно 99%. Эти цифры показывают, что на видимую понятность нейронов могут влиять и инструменты анализа, и архитектура модели. Речь идёт только о последнем слое, а не о доле объяснённых вычислений всей сети. 31
В предварительном анализе Qwen3-32B Каммарата оценивает, что примерно у 90% исследованных направлений отклика нейронов есть одна основная функция, иногда с небольшими родственными ответвлениями; около 7% связаны с двумя близкими функциями, а 2–4% пока остаются необъяснёнными. Это оценка нейронных откликов, а не доказательство того, что исследователям понятны все компоненты языковой модели или причины каждого её решения. Результаты также зависят от порога, ниже которого слабые активации не учитываются, от выбранных слоёв и от того, что считать одной функцией. 1
7
Эти цифры обсуждают и в сравнении с проектом OpenAI по автоматической интерпретации, где, согласно сообщениям, удалось объяснить около 1,7% изученных нейронов. Но напрямую сопоставлять эти показатели нельзя: анализировались разные модели, применялись разные инструменты и использовались разные способы подсчёта. Это не контролируемое сравнение, которое само по себе доказывает конкретный рост интерпретируемости. 9
12
Что добавляют ИИ-агенты — и чего пока не хватает
В публикациях об эссе современные агентные инструменты представлены как одна из причин, по которой стало возможным изучать нейроны напрямую и в большем масштабе. Однако доступные материалы не объясняют достаточно подробно, как были построены 100 000 графов атрибуции и какую роль они сыграли в результатах. Проверить именно эту методическую деталь по имеющимся сведениям нельзя. 3
5
6
Каммарата называет выводы по языковой модели предварительными, а общий аргумент — рабочей гипотезой. По сообщениям, техническая сопроводительная статья на тот момент ещё не была опубликована. Доступные источники также не подтверждают независимое воспроизведение результатов и не дают достаточно данных, чтобы оценить уверенность исследователя в каждой отдельной оценке. 7
12
34
Почему исследователи спорят
Издание Latent Space встретило эссе с энтузиазмом и представило агентный анализ как вызов идее, что полисемантичность мешает изучать нейроны напрямую. Нил Нанда из Google DeepMind, судя по публикациям, относится к выводам осторожнее: он по-прежнему считает суперпозицию вероятным явлением и обращает внимание на то, что слабые активации могут содержать важную информацию, в том числе факты, запомненные моделью. Его критика, по некоторым сообщениям, касается также того, что считать одной функцией нейрона, а не только самих наблюдений Каммараты. 6
35
36
37
Имеющихся сведений недостаточно, чтобы подробно восстановить весь спор — в частности, разногласия о том, можно ли переносить выводы с моделей компьютерного зрения на языковые модели и достаточно ли анализа отдельных нейронов для понимания целых схем вычислений. Эти вопросы стоит считать открытыми, а не решёнными приведёнными процентами.
Осторожный вывод
Главный аргумент Каммараты состоит в том, что часть сложности, которую исследователи видят в нейросетях, может быть следствием несовершенных инструментов и особенностей старых моделей. Его результаты по компьютерному зрению и предварительная оценка для Qwen3-32B делают эту гипотезу заслуживающей внимания. Но они не доказывают, что суперпозиции не существует, что у каждого нейрона есть одна чёткая функция или что понимание отдельных нейронов равнозначно пониманию всей модели. 7
10
12
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Нейросети понятнее, чем казалось? Что утверждает Ник Каммарата — и чего его данные не доказывают»?
Исследователь Goodfire Ник Каммарата утверждает, что многие нейроны, которые выглядят как смесь несвязанных понятий, могут отражать обычное обобщение или ограничения старых инструментов анализа.
Какие ключевые моменты необходимо проверить в первую очередь?
Исследователь Goodfire Ник Каммарата утверждает, что многие нейроны, которые выглядят как смесь несвязанных понятий, могут отражать обычное обобщение или ограничения старых инструментов анализа. В экспериментах с компьютерным зрением он сообщает о росте интерпретируемости нейронов последнего слоя примерно с 5% при старых инструментах до 99% в сопоставимой по числу параметров модели ConvNeXt.
Источники
superpowerdaily.comGoodfire researcher challenges the idea that AI's inner ...
dailycoloradonews.comNeural Networks Are Already Clean? The Researcher Behind Superposition Changes His Mind
already-clean.goodfire.comNeural Networks Are Already Clean
tokenpost.comMost Qwen3-32B Neuron Response Poles Have One Main Function, Researcher Estimates | TokenPost