AnswersPublished26 sources
Czy sieci neuronowe są bardziej zrozumiałe, niż sądziliśmy?
Badacz Goodfire Nick Cammarata uważa, że część złożoności sieci neuronowych może wynikać z niedoskonałych narzędzi analitycznych, a nie z chaotycznej organizacji modeli. Wyniki dotyczące ostatniej warstwy modeli wizyjnych wahają się od około 5% neuronów zrozumiałych przy użyciu starszych narzędzi do około 99% w mode...
Opublikowane przezEdytowane za pomocą GPT-6 LunaObrazy wygenerowane za pomocą GPT Image 2
Research answer
Key takeaways
- Badacz Goodfire Nick Cammarata uważa, że część złożoności sieci neuronowych może wynikać z niedoskonałych narzędzi analitycznych, a nie z chaotycznej organizacji modeli.
- Wyniki dotyczące ostatniej warstwy modeli wizyjnych wahają się od około 5% neuronów zrozumiałych przy użyciu starszych narzędzi do około 99% w modelu ConvNeXt o dopasowanej liczbie parametrów.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
W eseju opublikowanym 15 października 2026 r. Nick Cammarata przedstawił prowokacyjną tezę: niektóre neurony, które wyglądają na połączenie niepowiązanych pojęć, mogą w rzeczywistości ujawniać ograniczenia narzędzi analitycznych, starszych architektur albo zwykłego uogólniania na pokrewne cechy. Badacz Goodfire argumentuje, że często można analizować neurony bezpośrednio, zamiast najpierw próbować „rozplątać” je za pomocą innego modelu. Przedstawione wyniki są obiecujące, ale nie dowodzą, że sieci neuronowe — ani ich działanie jako całość — są już w pełni zrozumiałe. 5
10
26
Na czym polega „rekurencyjne uogólnianie”
Hipoteza Cammaraty zakłada, że reakcje neuronu mogą rozszerzać się od jednej cechy na cechy z nią powiązane. Zamiast przypadkowej mieszanki pojęć powstaje wtedy coś w rodzaju rozgałęziającej się rodziny. W jednym z opisywanych przykładów językowych neuron początkowo reaguje na ciąg liter „iy”, później także na „diy”, a następnie na „do it yourself” — wyrażenie powiązane znaczeniowo, choć niezawierające pierwotnego ciągu liter. Według tej interpretacji kolejne reakcje mogą sprawiać wrażenie mieszanki funkcji, jeśli każdą z nich uzna się za osobne, niezwiązane zadanie. 2
6
10
To ujęcie podważa częstą interpretację polisemantyczności, czyli sytuacji, w której pojedynczy neuron zdaje się reagować na wiele pojęć. Cammarata kwestionuje też założenie, że przed analizą modelu trzeba użyć osobnej metody wykrywania cech, na przykład rzadkiego autoenkodera (sparse autoencoder). Sama hipoteza rekurencyjnego uogólniania nie dowodzi jednak, że superpozycja nie występuje. To możliwe wyjaśnienie części obserwowanych reakcji, a nie rozstrzygnięcie wszystkich sporów o to, jak modele reprezentują cechy. 5
15
Na nowo odczytany neuron „kota i samochodu”
Znany przykład z modelu InceptionV1 dotyczył neuronu, który zdawał się reagować zarówno na kocie pyszczki, jak i przody samochodów. Wyglądało to na połączenie jednej komórki z dwiema niezwiązanymi kategoriami. Według relacji Cammarata proponuje inną interpretację: neuron wykrywa wspólną cechę wizualną — kształt przypominający literę V — zamiast osobno reprezentować „kota” i „samochód”. Osłabia to siłę tego przykładu jako dowodu na przypadkowe mieszanie pojęć, ale nowa interpretacja pojedynczego neuronu nie rozstrzyga, jak cechy są reprezentowane w całym modelu. 10
12
Dostępne źródła nie zawierają dość szczegółowych informacji, by rzetelnie odtworzyć zmienioną interpretację przykładu obwodu „samochód–pies” z 2020 r. Nie da się więc tutaj ocenić, na ile ten konkretny przypadek wspiera hipotezę — poza szerszym argumentem, że pozorne mieszanki mogą mieć wspólne lub pokrewne wyjaśnienie.
Jakie wyniki dotyczące interpretowalności podaje Cammarata
Cammarata przedstawia serię wyników dla ostatniej warstwy modeli wizyjnych. Według jego szacunków przy użyciu narzędzi z 2017 r. dało się zinterpretować około 5% neuronów tej warstwy w InceptionV1. Ulepszone narzędzia zastosowane do tej samej sieci podniosły odsetek do około 50%, a ponowne trenowanie z nowoczesnymi metodami regularyzacji — do około 70%. W modelu ConvNeXt o dopasowanej liczbie parametrów, trenowanym na tym samym zbiorze danych, wynik wyniósł około 99%. Seria ta sugeruje, że na czytelność neuronów wpływają zarówno narzędzia analityczne, jak i architektura modelu. To wyniki dla ostatniej warstwy, a nie odsetek obliczeń całego modelu, które badacze już wyjaśnili. 31
W przypadku Qwen3-32B wstępny audyt Cammaraty szacuje, że około 90% badanych kierunków reakcji neuronów ma jedną główną funkcję, często z niewielkimi, powiązanymi odgałęzieniami. Około 7% ma dwie pokrewne funkcje, a mniej więcej 2–4% pozostaje niewyjaśnione. Te liczby odnoszą się do badanych kierunków reakcji neuronów, nie do wykazanego zrozumienia każdego elementu ani każdej decyzji modelu językowego. Podane proporcje zależą też od progu uznawania słabych aktywacji, analizowanych warstw i tego, co liczy się jako pojedyncza „funkcja”. 1
7
Esej jest również omawiany w zestawieniu z projektem OpenAI dotyczącym zautomatyzowanej interpretowalności, który miał wyjaśnić około 1,7% badanych neuronów. Nie jest to bezpośrednie porównanie „przed i po” z szacunkiem dla Qwen3-32B: chodzi o różne modele, narzędzia i miary. Nie należy więc traktować tych wartości jako kontrolowanego pomiaru wzrostu interpretowalności. 9
12
Co wnoszą agenci AI — i czego nadal nie wiadomo
Relacje na temat eseju opisują wykorzystanie przez Cammaratę nowoczesnych narzędzi agentowych jako część argumentu za analizowaniem neuronów bezpośrednio i na większą skalę. Dostępne źródła nie wyjaśniają jednak, jak powstała liczba 100 000 grafów atrybucji ani w jaki sposób przyczyniły się one do wyników. Tego szczegółu metodologicznego nie da się więc zweryfikować na podstawie dostępnych informacji. 3
5
6
Wyniki dotyczące modeli językowych są przedstawiane jako wstępne, a sam esej — jako hipoteza robocza. Według relacji towarzyszący mu artykuł techniczny miał być wówczas jeszcze nieopublikowany lub dopiero przygotowywany. Dostępne źródła nie potwierdzają niezależnej replikacji wyników i nie zawierają dość informacji, by ocenić pewność Cammaraty co do poszczególnych szacunków. 7
12
34
Dlaczego reakcje na tezę są podzielone
Serwis Latent Space przyjął esej entuzjastycznie, przedstawiając analizę agentową jako wyzwanie dla poglądu, że polisemantyczność neuronów utrudnia ich bezpośrednie badanie. Neel Nanda z Google DeepMind jest opisywany jako bardziej ostrożny: nadal spodziewa się superpozycji i uważa, że słabe aktywacje mogą zawierać istotne informacje, w tym zapamiętane fakty. Inne relacje opisują jego krytykę jako częściowo dotyczącą definicji „jednej funkcji” lub neuronu „monosemantycznego”, a nie prostego odrzucenia przedstawionych obserwacji. 6
35
36
37
Dostępne źródła nie dokumentują całej wymiany na tyle dokładnie, by potwierdzić każdy przypisywany uczestnikom punkt zgody lub sporu. Dotyczy to między innymi tego, czy wnioski z modeli obrazowych można przenieść na modele językowe oraz czy sama analiza neuronów wystarcza do zrozumienia obwodów. Te pytania pozostają otwarte — nie rozstrzygają ich same podane odsetki.
Ostrożny wniosek
Najmocniejsza teza Cammaraty brzmi: pozorna złożoność sieci neuronowych może czasem wynikać z narzędzi i modeli używanych do ich badania, a wiele pojedynczych neuronów może być czytelniejszych, niż sugerowały starsze prace. Raportowane wyniki dla modeli wizyjnych i wstępny audyt Qwen3-32B sprawiają, że warto tę hipotezę śledzić. Nie dowodzą jednak, że obalono superpozycję, że każdy neuron ma jedną wyraźną funkcję ani że zrozumienie neuronów oznacza zrozumienie całego modelu. 7
10
12
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Czy sieci neuronowe są bardziej zrozumiałe, niż sądziliśmy?"?
Badacz Goodfire Nick Cammarata uważa, że część złożoności sieci neuronowych może wynikać z niedoskonałych narzędzi analitycznych, a nie z chaotycznej organizacji modeli.
What are the key points to validate first?
Badacz Goodfire Nick Cammarata uważa, że część złożoności sieci neuronowych może wynikać z niedoskonałych narzędzi analitycznych, a nie z chaotycznej organizacji modeli. Wyniki dotyczące ostatniej warstwy modeli wizyjnych wahają się od około 5% neuronów zrozumiałych przy użyciu starszych narzędzi do około 99% w modelu ConvNeXt o dopasowanej liczbie parametrów.