AnswersPublished26 sources
Нейромережі вже «чисті»? Що насправді доводять висновки Ніка Каммарати
Дослідник Goodfire Нік Каммарата припускає, що видима складність нейромереж часто пояснюється застарілими інструментами аналізу та звичайним узагальненням. Для останнього шару зорових моделей він наводить показник зрозумілості від приблизно 5% зі старими інструментами до близько 99% у ConvNeXt зі схожою кількістю па...
ОпублікувавВідредаговано за допомогою GPT-6 LunaЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- Дослідник Goodfire Нік Каммарата припускає, що видима складність нейромереж часто пояснюється застарілими інструментами аналізу та звичайним узагальненням.
- Для останнього шару зорових моделей він наводить показник зрозумілості від приблизно 5% зі старими інструментами до близько 99% у ConvNeXt зі схожою кількістю параметрів.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
У есеї від 15 жовтня 2026 року «Neural Networks Are Already Clean» Нік Каммарата висуває провокативну думку: деякі нейрони, які здаються поєднанням не пов’язаних між собою понять, можуть такими не бути. Причиною видимої плутанини, на його думку, можуть виявитися слабкі інструменти аналізу, застарілі архітектури або споріднені ознаки, що розгалужуються внаслідок звичайного узагальнення. Каммарата вважає, що часто нейрони можна досліджувати безпосередньо, а не спершу намагатися «розплутати» їх за допомогою іншої моделі. Наведені ним результати обнадійливі, але це не означає, що нейромережі або їхню поведінку загалом уже повністю зрозуміли. 5
10
26
Що Каммарата називає «рекурсивним узагальненням»
Його гіпотеза полягає в тому, що реакції нейрона можуть розростатися від однієї ознаки до пов’язаних із нею, утворюючи розгалужену родину, а не випадковий набір непов’язаних понять. Один із наведених мовних прикладів починається з нейрона, який реагує на послідовність літер «iy», потім — на «diy», а зрештою — на «do it yourself». Останній вислів пов’язаний із початковим за змістом, хоча й не містить тієї самої послідовності літер. За цією версією, така послідовність реакцій може скидатися на змішування ознак, якщо вважати кожну реакцію окремою, не пов’язаною з іншими функцією. 2
6
10
Таке тлумачення ставить під сумнів звичне прочитання полісемантичності — явища, коли один нейрон, здається, активується у відповідь на кілька різних понять. Воно також порушує питання, чи справді для інтерпретації моделі потрібно спершу використовувати окремий метод пошуку ознак, наприклад розріджений автокодувальник. Водночас рекурсивне узагальнення саме по собі не доводить, що накладання ознак ніколи не відбувається: це можливе пояснення деяких спостережуваних реакцій, а не остаточна заміна всім іншим уявленням про те, як моделі кодують ознаки. 5
15
Повторний погляд на нейрон «кіт і автомобіль»
Відомий приклад із InceptionV1, зорової моделі, демонстрував нейрон, який, здавалося, реагував і на котячі морди, і на передню частину автомобілів. Це наводили як свідчення того, що один нейрон поєднує не пов’язані між собою категорії. За повідомленнями про есе Каммарати переосмислює цю реакцію: нейрон може вловлювати спільну візуальну ознаку — V-подібну форму, — а не окремо розпізнавати «кота» й «автомобіль». Таке пояснення послаблює переконливість прикладу як доказу довільного змішування. Однак нове тлумачення одного нейрона не розв’язує ширшого питання про те, як ознаки представлені в усій моделі. 10
12
Доступні джерела не містять достатньо подробиць, щоб надійно відтворити нове пояснення Каммарати для прикладу з контуром «автомобіль — собака» з його роботи 2020 року. Тож на підставі цих матеріалів неможливо оцінити, наскільки саме цей приклад підтверджує його гіпотезу, окрім загальної думки, що видимі суміші можуть мати спільне або споріднене пояснення.
Які показники зрозумілості він наводить
Каммарата повідомляє про результати для останнього шару моделей комп’ютерного зору: приблизно 5% нейронів InceptionV1 вдавалося інтерпретувати інструментами 2017 року; близько 50% — за допомогою вдосконалених інструментів на тій самій мережі; приблизно 70% — після повторного навчання із сучасною регуляризацією; і близько 99% — у ConvNeXt зі схожою кількістю параметрів, навченої на тому самому наборі даних. Ці цифри вказують, що на те, наскільки зрозумілими здаються нейрони, можуть впливати і методи аналізу, і архітектура моделі. Йдеться про оцінки для останнього шару, а не про частку обчислень усієї моделі, яку дослідникам уже вдалося пояснити. 31
Для Qwen3-32B Каммарата наводить попередню оцінку: приблизно 90% нейронних полюсів реакції мають одну основну функцію, часто з невеликими спорідненими відгалуженнями; близько 7% виконують дві пов’язані функції; а приблизно 2–4% залишаються незрозумілими. Ці числа стосуються нейронних полюсів, а не доведеного розуміння кожного компонента чи рішення мовної моделі. До того ж частки змінюються залежно від порога для слабких активацій, досліджуваних шарів і того, що саме вважати однією «функцією». 1
7
Есе також обговорюють у контексті автоматизованого проєкту OpenAI з інтерпретації, який, за повідомленнями, пояснив близько 1,7% досліджених нейронів. Це не пряме порівняння «до і після» з оцінкою для Qwen3-32B: проєкти стосуються різних моделей, інструментів і способів вимірювання. Тому ці показники не можна вважати контрольованим доказом конкретного зростання зрозумілості. 9
12
Що додають ШІ-агенти — і чого наявні дані не пояснюють
У матеріалах про есе Каммарати розповідає, що використовував сучасні агентні інструменти, і пов’язує їх із можливістю масштабніше вивчати нейрони безпосередньо. Однак наявні джерела не встановлюють, як саме було створено 100 000 графів атрибуції та яку роль вони відіграли у висновках. Тож перевірити цю конкретну методологічну деталь на підставі доступних матеріалів неможливо. 3
5
6
Результати для мовних моделей названо попередніми, а саме есе — робочою гіпотезою. За повідомленнями, супровідну технічну статтю на той час ще не опублікували або не оприлюднили. Наявні джерела не підтверджують незалежного відтворення результатів і не дають достатньо інформації, щоб оцінити впевненість дослідника щодо кожної окремої оцінки. 7
12
34
Чому реакції дослідників різняться
Видання Latent Space схвально відгукнулося про есе, представивши аналіз за допомогою агентів як виклик уявленню, ніби полісемантичність нейронів унеможливлює їхнє пряме вивчення. Ніл Нанда з Google DeepMind, за повідомленнями, поставився до висновків обережніше: він і далі вважає, що накладання ознак існує, і зауважує, що слабкі активації можуть містити важливу інформацію, зокрема збережені факти. Інші матеріали описують його критику як частково спрямовану на визначення понять «одна функція» та «моносемантичний нейрон», а не просто на заперечення наведених спостережень. 6
35
36
37
Доступні джерела не документують обмін думками настільки докладно, щоб підтвердити всі заявлені точки згоди чи незгоди. Зокрема, лишаються відкритими питання, чи можна переносити висновки з моделей зображень на мовні моделі та чи достатньо аналізу окремих нейронів для розуміння цілих обчислювальних ланцюжків — схем, за якими модель обробляє інформацію. Не варто подавати ці питання як уже розв’язані наведеними відсотками.
Обережний висновок
Найсильніша теза Каммарати — що видима складність нейромереж іноді може бути наслідком інструментів і моделей, якими дослідники їх вивчають, а окремі нейрони можуть бути зрозумілішими, ніж свідчили попередні дослідження. Наведені результати для моделей комп’ютерного зору та попередній аудит Qwen3-32B роблять цю гіпотезу вартою уваги. Але вони не доводять, що накладання ознак спростоване, кожен нейрон має одну чітку функцію або розуміння нейронів дорівнює розумінню всієї моделі. 7
10
12
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Нейромережі вже «чисті»? Що насправді доводять висновки Ніка Каммарати"?
Дослідник Goodfire Нік Каммарата припускає, що видима складність нейромереж часто пояснюється застарілими інструментами аналізу та звичайним узагальненням.
What are the key points to validate first?
Дослідник Goodfire Нік Каммарата припускає, що видима складність нейромереж часто пояснюється застарілими інструментами аналізу та звичайним узагальненням. Для останнього шару зорових моделей він наводить показник зрозумілості від приблизно 5% зі старими інструментами до близько 99% у ConvNeXt зі схожою кількістю параметрів.