如何可視化/理解神經網絡在做什麼？

由於結構複雜，神經網絡通常被視為“黑匣子”。這並不理想，因為直觀地掌握模型內部的工作方式通常是有益的。有哪些方法可以可視化經過訓練的神經網絡是如何工作的？或者，我們如何提取易於理解的網絡描述（例如，這個隱藏節點主要處理這些輸入）？

我主要對兩層前饋網絡感興趣，但也想听聽更深層網絡的解決方案。輸入數據本質上可以是可視的或非可視的。

神經網絡有時被稱為“可微函數逼近器”。所以你可以做的是區分任何單位與任何其他單位，看看他們的關係是什麼。

您也可以檢查網絡錯誤對特定輸入的敏感程度。

然後，有一種叫做“感受野”的東西，它只是進入隱藏單元的連接的可視化。例如，這使得理解特定單元對圖像數據的作用變得容易。這也可以用於更高級別。請參閱可視化深度網絡的高級特徵。

引用自：https://stats.stackexchange.com/questions/11764