JawabanDipublikasikan26 sumber
Klaim Nick Cammarata soal Jaringan Saraf—dan Batas Buktinya
Nick Cammarata berpendapat bahwa sebagian kerumitan jaringan saraf yang terlihat mungkin berasal dari keterbatasan alat analisis dan arsitektur lama, bukan selalu dari representasi yang kusut. Ia melaporkan tingkat interpretabilitas sekitar 5% hingga 99% pada neuron lapisan terakhir sejumlah model visi.
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Nick Cammarata berpendapat bahwa sebagian kerumitan jaringan saraf yang terlihat mungkin berasal dari keterbatasan alat analisis dan arsitektur lama, bukan selalu dari representasi yang kusut.
- Ia melaporkan tingkat interpretabilitas sekitar 5% hingga 99% pada neuron lapisan terakhir sejumlah model visi.
- Audit awal terhadap Qwen3 32B memperkirakan sekitar 90% arah respons neuron memiliki satu fungsi utama, tetapi hasilnya bergantung pada ambang aktivasi dan definisi fungsi.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
Esai Nick Cammarata berjudul “Neural Networks Are Already Clean”, yang terbit pada 15 Oktober 2026, mengajukan gagasan yang cukup berani: sebagian neuron yang tampak merespons banyak konsep berbeda mungkin sebenarnya mencerminkan keterbatasan alat analisis, arsitektur model yang lebih lama, atau fitur-fitur terkait yang berkembang melalui proses generalisasi biasa. Cammarata berpendapat bahwa peneliti mungkin bisa mempelajari neuron secara langsung, tanpa lebih dulu mencoba “mengurai” representasinya menggunakan model lain. Hasil yang ia laporkan menarik, tetapi belum membuktikan bahwa seluruh jaringan saraf—atau perilaku model secara keseluruhan—sudah dipahami. 5
10
26
Apa yang dimaksud dengan “generalisasi rekursif”?
Menurut hipotesis Cammarata, respons sebuah neuron dapat berkembang dari satu fitur menjadi sejumlah fitur terkait yang bercabang. Hasilnya mungkin terlihat seperti kumpulan konsep yang tak berkaitan jika setiap respons dianggap sebagai fungsi yang berdiri sendiri. Salah satu contoh bahasa yang dilaporkan berawal dari neuron yang merespons rangkaian huruf “iy”, lalu “diy”, dan kemudian “do it yourself”—frasa yang berkaitan secara makna, tetapi tidak mengandung rangkaian huruf awal itu. 2
6
10
Gagasan ini menawarkan cara lain untuk membaca polisemantik, yakni keadaan ketika satu neuron tampak aktif untuk beberapa konsep. Cammarata juga mempertanyakan anggapan bahwa peneliti harus lebih dulu menggunakan metode pencarian fitur terpisah, seperti sparse autoencoder, agar model bisa ditafsirkan. Namun, generalisasi rekursif bukan bukti bahwa superposition—gagasan bahwa representasi fitur dapat bertumpang tindih—tidak pernah terjadi. Ini adalah penjelasan yang mungkin untuk sebagian respons, bukan pengganti yang sudah terbukti bagi semua teori tentang cara model merepresentasikan fitur. 5
15
Menafsirkan ulang neuron “kucing dan mobil”
Salah satu contoh InceptionV1 yang terkenal tampak merespons wajah kucing sekaligus bagian depan mobil. Sekilas, neuron itu terlihat menggabungkan dua kategori yang tidak berkaitan. Dalam esainya, Cammarata dilaporkan menafsirkan ulang respons tersebut sebagai deteksi terhadap ciri visual yang sama—bentuk menyerupai huruf V—bukan representasi terpisah untuk “kucing” dan “mobil”. Tafsiran ini membuat contoh tersebut menjadi bukti yang kurang meyakinkan untuk pencampuran konsep secara acak. Namun, penjelasan baru atas satu neuron belum menjawab bagaimana fitur direpresentasikan di seluruh model. 10
12
Sumber yang tersedia tidak memberikan cukup rincian untuk merekonstruksi dengan andal penjelasan baru Cammarata tentang contoh sirkuit InceptionV1 dari 2020, yang menghubungkan mobil dan anjing. Karena itu, contoh tersebut tidak dapat dinilai lebih jauh di sini sebagai bukti bagi hipotesisnya, selain dalam konteks argumen umum bahwa respons yang tampak bercampur mungkin memiliki penjelasan bersama atau saling terkait.
Angka interpretabilitas yang dilaporkan
Untuk lapisan terakhir model visi, Cammarata melaporkan hasil berikut: sekitar 5% neuron InceptionV1 dapat ditafsirkan dengan alat yang tersedia pada 2017; sekitar 50% dengan alat yang lebih baik pada jaringan yang sama; sekitar 70% setelah pelatihan ulang dengan regularisasi modern; dan sekitar 99% pada ConvNeXt dengan jumlah parameter yang sebanding dan dilatih menggunakan dataset yang sama. Rangkaian angka ini menunjukkan bahwa alat analisis dan arsitektur model dapat memengaruhi seberapa mudah neuron dibaca. Namun, angka tersebut merujuk pada neuron di lapisan terakhir, bukan persentase keseluruhan proses komputasi model yang telah dijelaskan. 31
Untuk Qwen3-32B, audit awal Cammarata memperkirakan bahwa sekitar 90% neuron response poles—arah respons neuron yang diperiksa—memiliki satu fungsi utama, sering kali disertai cabang kecil yang berkaitan. Sekitar 7% diperkirakan memiliki dua fungsi terkait, sementara sekitar 2–4% belum dapat dijelaskan. Angka-angka ini menggambarkan fungsi response poles, bukan pemahaman yang sudah terbukti atas setiap komponen atau keputusan model bahasa tersebut. Proporsinya juga berubah tergantung ambang untuk aktivasi lemah, lapisan yang diperiksa, dan batasan tentang apa yang dianggap sebagai satu “fungsi”. 1
7
Esai itu juga dibahas bersama proyek interpretabilitas otomatis OpenAI yang dilaporkan berhasil menjelaskan sekitar 1,7% neuron yang diperiksa. Angka tersebut bukan perbandingan langsung sebelum dan sesudah dengan perkiraan untuk Qwen3-32B: proyeknya menggunakan model, alat, dan ukuran yang berbeda. Karena itu, angka-angka tersebut tidak dapat dianggap sebagai bukti terkontrol tentang besarnya peningkatan interpretabilitas. 9
12
Peran agen AI dan hal yang belum jelas
Sejumlah laporan menyebut Cammarata menggunakan alat berbasis agen modern sebagai bagian dari upaya menganalisis neuron secara langsung dalam skala yang lebih besar. Namun, sumber yang tersedia tidak menjelaskan secara memadai bagaimana angka 100.000 attribution graphs dihasilkan atau bagaimana grafik-grafik itu digunakan dalam temuan tersebut. Rincian metodologi itu belum dapat diverifikasi dari bukti yang tersedia. 3
5
6
Hasil untuk model bahasa disebut masih awal, sementara esai itu sendiri disajikan sebagai hipotesis kerja. Laporan juga menyebut makalah pendamping teknisnya belum dirilis atau masih akan terbit pada saat itu. Sumber yang tersedia tidak menunjukkan adanya replikasi independen, dan tidak cukup menjelaskan tingkat keyakinan peneliti terhadap setiap perkiraan individual. 7
12
34
Mengapa tanggapannya berbeda?
Latent Space menyambut esai tersebut dengan antusias dan menggambarkan analisis berbasis agen sebagai tantangan terhadap anggapan bahwa neuron polisemantik sulit dipelajari secara langsung. Neel Nanda dari Google DeepMind mengambil sikap lebih hati-hati. Ia masih memperkirakan superposition terjadi dan berpendapat bahwa aktivasi lemah bisa membawa informasi bermakna, termasuk fakta yang tersimpan dalam model. Laporan lain menggambarkan kritiknya sebagai pertanyaan tentang definisi “satu fungsi” atau neuron “monosemantik”, bukan sekadar penolakan terhadap pengamatan yang dilaporkan. 6
35
36
37
Sumber yang tersedia tidak mendokumentasikan pertukaran pandangan mereka dengan cukup rinci untuk memastikan setiap titik persetujuan atau perbedaan pendapat. Ini termasuk pertanyaan apakah kesimpulan dari model gambar berlaku juga untuk model bahasa, dan apakah analisis di tingkat neuron cukup untuk memahami sirkuit. Pertanyaan-pertanyaan itu sebaiknya tetap terbuka, alih-alih dianggap sudah terjawab oleh angka-angka yang dilaporkan.
Kesimpulan yang paling hati-hati
Klaim utama Cammarata adalah bahwa sebagian kerumitan jaringan saraf yang terlihat mungkin berasal dari alat dan model yang digunakan peneliti untuk memeriksanya. Menurut hasil yang ia laporkan, banyak neuron individual juga mungkin lebih mudah ditafsirkan daripada yang disiratkan studi-studi terdahulu. Hasil pada model visi dan audit awal Qwen3-32B membuat hipotesis ini layak diperhatikan. Namun, temuan tersebut belum membuktikan bahwa superposition telah terbantahkan, bahwa setiap neuron memiliki satu fungsi yang jelas, atau bahwa memahami neuron berarti memahami keseluruhan model. 7
10
12
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Klaim Nick Cammarata soal Jaringan Saraf—dan Batas Buktinya"?
Nick Cammarata berpendapat bahwa sebagian kerumitan jaringan saraf yang terlihat mungkin berasal dari keterbatasan alat analisis dan arsitektur lama, bukan selalu dari representasi yang kusut.
Apa poin penting yang harus divalidasi terlebih dahulu?
Nick Cammarata berpendapat bahwa sebagian kerumitan jaringan saraf yang terlihat mungkin berasal dari keterbatasan alat analisis dan arsitektur lama, bukan selalu dari representasi yang kusut. Ia melaporkan tingkat interpretabilitas sekitar 5% hingga 99% pada neuron lapisan terakhir sejumlah model visi.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Audit awal terhadap Qwen3 32B memperkirakan sekitar 90% arah respons neuron memiliki satu fungsi utama, tetapi hasilnya bergantung pada ambang aktivasi dan definisi fungsi.