AnswersPublished26 sources
Dakwaan Nick Cammarata tentang rangkaian neural—dan batas buktinya
Nick Cammarata, penyelidik Goodfire, berhujah bahawa alat analisis yang lebih baik dan generalisasi biasa boleh menjelaskan banyak kerumitan rangkaian neural yang kelihatan. Bagi model penglihatan, beliau melaporkan kadar kebolehfahaman lapisan terakhir meningkat daripada kira kira 5% dengan alat lama kepada sekitar...
Diterbitkan olehDisunting dengan GPT-6 LunaImej dijana dengan GPT Image 2
Research answer
Key takeaways
- Nick Cammarata, penyelidik Goodfire, berhujah bahawa alat analisis yang lebih baik dan generalisasi biasa boleh menjelaskan banyak kerumitan rangkaian neural yang kelihatan.
- Bagi model penglihatan, beliau melaporkan kadar kebolehfahaman lapisan terakhir meningkat daripada kira kira 5% dengan alat lama kepada sekitar 99% dalam ConvNeXt yang sepadan saiznya.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
Dalam eseinya pada 15 Oktober 2026, “Neural Networks Are Already Clean”, Nick Cammarata mengemukakan satu hujah yang mencabar tanggapan lazim: neuron yang kelihatan bertindak balas terhadap beberapa konsep mungkin bukan gabungan rawak. Sebaliknya, gambaran itu mungkin berpunca daripada alat analisis yang lemah, seni bina model yang lebih lama, atau ciri berkaitan yang berkembang melalui proses generalisasi biasa. 5
10
26
Cammarata berpendapat penyelidik mungkin boleh mengkaji neuron secara langsung, tanpa terlebih dahulu menggunakan model lain untuk “menguraikan” representasi di dalamnya. Angka yang dilaporkannya menggalakkan, tetapi bukan bukti bahawa rangkaian neural—apatah lagi keseluruhan tingkah lakunya—sudah difahami. 5
10
26
Apakah maksud “generalisasi rekursif”?
Hipotesis Cammarata ialah respons neuron boleh berkembang daripada satu ciri kepada ciri lain yang berkaitan, lalu membentuk cabang-cabang makna dan bukannya himpunan konsep yang langsung tidak berkaitan. Satu contoh bahasa yang dilaporkan bermula dengan neuron yang bertindak balas terhadap rangkaian huruf “iy”, kemudian “diy”, dan akhirnya frasa “do it yourself”—yang berkaitan dari segi makna tetapi tidak mengandungi rangkaian huruf asal. Menurut cadangan ini, perkembangan seperti itu boleh kelihatan seperti pencampuran ciri jika setiap respons dianggap sebagai fungsi berasingan yang tiada kaitan. 2
6
10
Tafsiran ini mencabar cara biasa memahami polisemantik—keadaan apabila satu neuron kelihatan aktif untuk beberapa konsep. Ia juga menimbulkan persoalan sama ada penyelidik perlu sentiasa menggunakan kaedah penemuan ciri berasingan, seperti pengekod auto jarang (sparse autoencoder), sebelum model boleh ditafsir. Namun, generalisasi rekursif tidak dengan sendirinya membuktikan bahawa superposisi tidak pernah berlaku. Ia ialah satu penjelasan yang mungkin bagi sesetengah respons, bukannya pengganti muktamad bagi semua teori tentang cara model mewakili ciri. 5
15
Menilai semula neuron “kucing dan kereta”
Satu contoh terkenal daripada InceptionV1 kelihatan menunjukkan neuron yang sama bertindak balas kepada wajah kucing dan bahagian hadapan kereta. Pada mulanya, hal ini dilihat sebagai petunjuk bahawa satu neuron menggabungkan kategori yang tidak berkaitan. Esei Cammarata dilaporkan mentafsir semula respons itu sebagai pengesanan ciri visual yang dikongsi—bentuk seperti huruf V—bukannya perwakilan berasingan bagi “kucing” dan “kereta”. Tafsiran baharu ini menjadikan contoh tersebut kurang meyakinkan sebagai bukti pencampuran rawak. Namun, penjelasan semula bagi satu neuron sahaja tidak menyelesaikan persoalan yang lebih luas tentang cara ciri diwakili dalam sesebuah model. 10
12
Bahan yang tersedia untuk artikel ini tidak memberikan maklumat mencukupi untuk membina semula dengan yakin penjelasan baharu Cammarata tentang contoh litar kereta-ke-anjing dari tahun 2020. Oleh itu, contoh tersebut tidak dapat dinilai di sini sebagai sokongan khusus bagi hipotesisnya, selain daripada hujah umum bahawa respons yang kelihatan bercampur mungkin mempunyai penjelasan bersama atau hubungan tertentu.
Angka kebolehfahaman yang dilaporkan
Cammarata melaporkan beberapa dapatan bagi lapisan terakhir model penglihatan: kira-kira 5% neuron lapisan terakhir InceptionV1 boleh ditafsir dengan alat era 2017; kira-kira 50% dengan alat yang lebih baik pada rangkaian yang sama; sekitar 70% selepas model dilatih semula menggunakan regularisasi moden; dan kira-kira 99% dalam ConvNeXt yang mempunyai bilangan parameter sepadan serta dilatih pada set data yang sama. Urutan ini mencadangkan bahawa alat analisis dan seni bina model boleh mempengaruhi sejauh mana fungsi neuron kelihatan jelas. Angka tersebut merujuk kepada tafsiran lapisan terakhir, bukan peratusan keseluruhan pengiraan model yang sudah diterangkan. 31
Bagi Qwen3-32B, audit awal Cammarata menganggarkan kira-kira 90% arah respons neuron mempunyai satu fungsi utama, sering dengan cabang kecil yang berkaitan; sekitar 7% mempunyai dua fungsi berkaitan; dan kira-kira 2–4% masih belum dijelaskan. Angka ini merujuk kepada arah respons neuron, bukan bukti bahawa setiap komponen atau keputusan model bahasa itu sudah difahami. Kadarnya juga berubah mengikut ambang untuk mengira aktivasi yang lemah, lapisan yang diteliti, dan takrif bagi satu “fungsi”. 1
7
Esei itu turut dibincangkan bersama projek kebolehfahaman automatik OpenAI yang dilaporkan telah menerangkan kira-kira 1.7% neuron yang dikajinya. Angka itu bukan perbandingan langsung sebelum dan selepas dengan anggaran Qwen3-32B: projek tersebut melibatkan model, alat dan ukuran yang berbeza. Maka, angka-angka itu tidak patut dianggap sebagai bukti terkawal bahawa kebolehfahaman meningkat pada kadar tertentu. 9
12
Peranan ejen AI—dan perkara yang masih belum jelas
Laporan tentang esei itu menyebut penggunaan alat ejen moden oleh Cammarata sebagai sebahagian daripada hujah bahawa neuron boleh dikaji secara langsung pada skala lebih besar. Namun, sumber yang tersedia tidak mengesahkan cara angka 100,000 graf atribusi dihasilkan atau bagaimana graf tersebut menyumbang kepada dapatan. Butiran metodologi khusus itu tidak dapat dipastikan berdasarkan bukti ini. 3
5
6
Dapatan model bahasa tersebut masih digambarkan sebagai awal, manakala esei itu sendiri sebagai hipotesis kerja. Laporan juga menyebut bahawa kertas teknikal susulan ketika itu masih belum diterbitkan atau belum tersedia. Sumber yang diberikan tidak membuktikan adanya replikasi bebas, dan tidak menyediakan maklumat mencukupi untuk menilai tahap keyakinan penyelidik terhadap setiap anggaran. 7
12
34
Mengapa reaksi penyelidik berbeza?
Latent Space menyambut baik esei itu dan membingkaikan analisis berasaskan ejen sebagai cabaran kepada tanggapan bahawa neuron polisemantik sukar dikaji secara langsung. Neel Nanda dari Google DeepMind pula digambarkan lebih berhati-hati: beliau masih menjangkakan superposisi berlaku dan berpendapat aktivasi lemah mungkin membawa maklumat bermakna, termasuk fakta yang dihafal. Laporan lain menggambarkan sebahagian kritikannya sebagai persoalan tentang takrif “satu fungsi” atau neuron “monosemantik”—neuron yang dikatakan mempunyai satu fungsi jelas—dan bukannya penolakan mudah terhadap pemerhatian yang dilaporkan. 6
35
36
37
Sumber yang tersedia tidak mendokumentasikan perbincangan itu dengan cukup terperinci untuk mengesahkan setiap perkara yang dikatakan dipersetujui atau dipertikaikan. Ini termasuk persoalan sama ada dapatan daripada model imej boleh digunakan pada model bahasa, dan sama ada analisis pada peringkat neuron memadai untuk memahami litar dalam model. Soalan-soalan itu wajar kekal terbuka, bukannya dianggap selesai hanya berdasarkan peratusan yang dilaporkan.
Kesimpulan yang lebih berhati-hati
Hujah utama Cammarata ialah kerumitan rangkaian neural yang kelihatan mungkin sebahagiannya berpunca daripada alat dan model yang digunakan untuk memeriksanya. Beliau juga berpendapat banyak neuron individu mungkin lebih mudah ditafsir berbanding gambaran daripada kajian terdahulu. Dapatan model penglihatan dan audit awal Qwen3-32B yang dilaporkannya menjadikan hipotesis itu menarik untuk diteliti. Namun, dapatan tersebut tidak membuktikan bahawa superposisi telah disangkal, setiap neuron mempunyai satu fungsi yang jelas, atau memahami neuron sahaja bermakna seluruh model sudah difahami. 7
10
12
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Dakwaan Nick Cammarata tentang rangkaian neural—dan batas buktinya"?
Nick Cammarata, penyelidik Goodfire, berhujah bahawa alat analisis yang lebih baik dan generalisasi biasa boleh menjelaskan banyak kerumitan rangkaian neural yang kelihatan.
What are the key points to validate first?
Nick Cammarata, penyelidik Goodfire, berhujah bahawa alat analisis yang lebih baik dan generalisasi biasa boleh menjelaskan banyak kerumitan rangkaian neural yang kelihatan. Bagi model penglihatan, beliau melaporkan kadar kebolehfahaman lapisan terakhir meningkat daripada kira kira 5% dengan alat lama kepada sekitar 99% dalam ConvNeXt yang sepadan saiznya.