Neural-Networks
在神經網絡的上下文中，術語“密集”和“稀疏”是什麼意思？
在神經網絡 (NN) 的上下文中，術語“密集”和“稀疏”是什麼意思？它們之間有什麼區別？他們為什麼這麼叫？
在數學中，“稀疏”和“密集”通常是指數組（例如向量或矩陣）中零元素與非零元素的數量。稀疏數組是包含大部分零和少量非零條目的數組。密集數組主要包含非零。
稀疏的內容沒有硬性閾值；這是一個寬鬆的術語，但可以更具體。例如，一個向量是 $ k $ -sparse 如果它最多包含 $ k $ 非零條目。另一種說法是向量的 $ \ell_0 $ 規範是 $ k $ .
這些術語在神經網絡上下文中的用法與它們在其他領域的用法相似。在 NN 的上下文中，可以描述為稀疏或密集的事物包括特定層內單元的**激活、權重和數據。人們也可以談論“稀疏連接”，它指的是只有一小部分單元相互連接的情況。這是與稀疏權重類似的概念，因為零權重的連接實際上是未連接的。
“稀疏數組”也可以指一類可以有效表示稀疏數組的數據類型。這是編程語言領域內的一個概念。它與數學概念相關，但又不同。