Goodfire 在 2026 年研究隨筆中提出，神經網路可能比過去認為的更容易解釋，許多看似混亂的神經元其實沿可追蹤的關聯泛化。 Nick Cammarata 在〈Neural Networks Are Already Clean〉提出一個工作假說：許多看似混亂的神經元，其實沿著可追蹤的關聯泛化。研究者先前使用的模型、觀察工具與判讀方式，可能把這些關聯誤看成任意混合。
對機器學習研究者，最有用的部分是實驗怎麼做。代理能大批提出解釋，但解釋需要預測新輸入，接受反例與消融測試。替每個神經元取一個好名字，離理解模型還有一段距離。
76% 對 11%，讓神經元解釋接受新例子的檢驗
Goodfire 從展示庫隨機抽取 200 個神經元，讓代理只讀既有解釋，再寫出預測會觸發與不會觸發的輸入。每種各 5 個，測量發生在例子寫完之後。
其中，183 個神經元的解釋描述正極。作者報告，新正例有 76% 強烈觸發神經元，近似反例則為 11%。這裡的「強烈」，定義為達到語料庫中該神經元最強範例反應的 30% 以上。
這組設計比讓代理看過答案後解釋答案更有說服力。假說必須先押注：哪些新文字會引發反應，哪些相近文字不會。測量結果會讓解釋露出問題。
| Goodfire 的檢驗項目 | 原文報告內容 | 解讀時要保留的範圍 |
|---|---|---|
| 初始隨機抽樣 | 200 個神經元 | 來自展示庫的抽樣 |
| 正極解釋子集 | 183 個神經元 | 76% 與 11% 的比較使用此子集 |
| 每個解釋的測試輸入 | 5 個正例、5 個近似反例 | 輸入先寫好，再測量反應 |
| 新正例強烈觸發比例 | 76% | 是輸入的觸發結果，非模型解釋正確率 |
| 近似反例強烈觸發比例 | 11% | 使用相同的強烈反應門檻 |
10 萬張歸因圖：質性審查，尚無量化總分
Goodfire 讓代理審查 10 萬張歸因圖，Cammarata 另以人工查看數千張影像與語言模型的歸因圖。作者將這些觀察列為質性證據，並表示目前不信任工具到足以產生「乾淨分數」。讀者因此能把兩件事分開：大規模觀察用來找線索，預先寫好的輸入用來檢驗線索。
99–100% 與約 90%，衡量的是不同模型與觀察單位
Goodfire 對視覺模型與語言模型的敘述，不能放在同一條進步曲線上。視覺部分回頭研究 InceptionV1，並以改善後的架構觀察神經元；語言部分則包含對 Qwen3-32B 的初步審查。
作者表示，視覺模型經過一般架構改善，在模型大小與訓練資料不變的比較裡，末層 99–100% 的神經元容易解讀。99–100% 是這項實驗的末層結果，不能推算為所有視覺模型的共同成功率。
Qwen3-32B 的約 90%，指初步審查中具有一個主要工作的神經元極性（neuron poles）。另外約 7% 有兩個相關工作，約 2–4% 尚未理解。正負極都可能承載訊號，所以「極性」與一般口語說的整顆神經元並不完全相同。
作者也說明，比例會受到弱活化的門檻，以及何謂「同一件事」的判斷影響。這些約數適合拿來理解研究方向，不能直接當成獨立重現的標準評測。
貓臉與車頭：先檢查共同結構，再判斷是否多義
Goodfire 重新檢查了 InceptionV1 裡著名的貓臉與車頭神經元。Cammarata 現在認為，兩者可能共享 V 形視覺結構，先前的判讀低估了泛化範圍。
在機制可解釋性裡，「多義性」（polysemanticity）描述一個神經元似乎同時處理多個不相干概念的現象。「疊加」（superposition）則是解釋這類現象的一套理論，兩個詞不能互換。找到兩種會觸發同一神經元的圖片，尚不足以決定背後機制。
2020 年的〈Zoom In〉展示了從神經元連接研究電路的路線。Goodfire 的新隨筆回頭質疑部分經典例子的判讀，提出「遞迴泛化」（recursive generalization）：神經元沿既有特徵延伸，再長出相關分支。
這個分歧會改變研究順序。若假定原始神經元已經纏成亂結，研究者會先尋找另一組表示基底。若相鄰案例其實存在可追蹤的關聯，則值得先沿原始模型的連接、訓練歷程與輸入反應繼續查。
代理可以擴大觀察，也可能大規模重複同一個誤解
OpenAI 在 2023 年 5 月 9 日發表的〈Language Models Can Explain Neurons in Language Models〉，已把解釋、模擬與評分組成自動化流程。Goodfire 現在主張，更好的工具與模型，讓「提出假說，再設計實驗」能走得更遠。
工具變強，並沒有取消驗證責任。原始隨筆提醒，擅長模擬活化的解釋，未必就是正確解釋。研究者若只追求高模擬分數，可能獎勵一套會猜反應、卻沒有抓到機制的說法。
檢查正負極，是另一個容易漏掉的步驟。Qwen3-32B 的例子顯示，只看最高正活化的標籤，可能漏掉神經元負極所承載的意義。標籤與電路作用需要放在一起檢查，不能把自動命名當成實驗終點。
一個可採用的研究流程，是先保存原始模型、層與神經元的識別資訊，再寫出具體預測。新正例、近似反例與強負活化應分別觀察。最後以移除或改動相關電路的消融測試，檢查輸出是否照預測改變。
這是依據研究設計提出的工作順序，並非隨筆提供的一鍵重現套件。它的好處很實際：代理即使產出大量解釋，研究者仍知道每個解釋通過了哪一種測試。
稀疏自編碼器仍有研究價值，爭點在基底與證據
Anthropic 在 2023 年 10 月 4 日的〈Towards Monosemanticity〉，使用稀疏自編碼器（SAE）從單層 Transformer 抽取可解釋特徵。SAE 學到的是另一組表示，不等同原始神經元的逐一標籤。
Goodfire 倡議多研究原生神經元，理由之一是能直接查看原模型，避免把重建誤差混進觀察。這個主張值得測試，卻不能僅靠一篇工作假說就宣布 SAE 已失去用途。不同方法仍可用相同任務比較預測、因果干預與失敗案例。
尤其要區分局部電路與整個系統。理解某個提示下的幾個神經元如何影響輸出，尚未回答模型在所有情境會怎麼行動。研究的進步可以很大，安全結論仍須逐項建立。
常見問題
Goodfire 已證明大型語言模型完全可解釋嗎？
Goodfire 的文章是 2026 年公開的研究隨筆與工作假說。Qwen3-32B 的約 90% 是初步神經元極性審查估計，會受判讀門檻影響。局部可解讀性與完整掌握模型行為，仍是不同的研究目標。
Goodfire 的 76% 是神經元解釋正確率嗎？
Goodfire 的 76% 指新正例強烈觸發神經元的比例。實驗先抽取 200 個神經元，再對其中 183 個以正極解釋的神經元報告結果；近似反例的強烈觸發比例是 11%。這組數據檢查解釋的預測力，不能換名為整體正確率。
Goodfire 的 10 萬張歸因圖審查有量化總分嗎？
Goodfire 將 10 萬張歸因圖的代理審查列為質性證據。作者明確表示，目前不信任工具到足以把結果換算成乾淨分數。審查規模很大，並不等於有一個已驗證的總分。
機制可解釋性研究可以只看神經元最高活化範例嗎？
機制可解釋性研究需要比最高活化範例更多的證據。Goodfire 的方法包含新正例、近似反例、正負極與電路干預。最高活化範例能提供線索，因果主張仍需要測試。
權威來源
- Goodfire：Neural Networks Are Already Clean，2026 年研究隨筆
- OpenAI：Language Models Can Explain Neurons in Language Models，2023 年 5 月 9 日
- Anthropic：Towards Monosemanticity，2023 年 10 月 4 日
- Distill：Zoom In: An Introduction to Circuits，2020 年
Author Insight
評估一個神經元解釋，值得先看它會在哪裡輸。若解釋只能替已看過的範例補故事，就先保留為待驗假說。能預測新輸入，且通過對應的因果干預，才有理由提高信心。
代理最適合放大的，是這種能被檢驗的工作。每一個自動產生的標籤，都應附上測試輸入、量測結果與失敗案例。研究者才能在規模擴大後，回頭查出哪一段推論出了錯。
