Neural-Networks
選擇卷積神經網絡超參數的規則
是否有任何好的論文涵蓋了一些有條理的方法來選擇過濾器的維度、池化單元和確定卷積層的數量？
在某種程度上是的，谷歌研究人員最近發表了一篇關於如何選擇好的 Inception 架構的論文。Inception 網絡在有限的參數預算上實現了非常高的性能，所以這是一個很好的起點，而且它是最近的。這是鏈接：重新思考計算機視覺的初始架構。
他們沒有提供任何硬性的量化規則，而是他們使用並相信幫助他們在最近的 ImageNet 比賽中取得良好表現的指導方針。
例如，他們討論的一些原則是：
- 使用較小感受野卷積層的堆棧，而不是使用單個大感受野卷積層，即 2 個 3x3 卷積層堆棧與單個 7x7 卷積層。這個想法並不新鮮，它也在牛津 VGG 團隊的《Return of the Devil in the Details: Delving Deep into Convolutional Networks》中進行了討論。這是出於對參數有效的需求的推動。當我們通過更多層引入更多非線性時，它還具有更多表示能力的雙重效果。
- 我在本文提到的文獻中沒有看到的是將捲積層分解為深層。因此，我們將有一個 1x7 的捲積層，然後是一個 7x1 的捲積層，而不是一個 7x7 的捲積層。增加了更多的深度，我相信它的參數也很有效。
- 平衡網的深度和寬度。使用高維表示。這是他們的 Inception 模塊背後的原則之一，它將多個卷積層連接在一起。因此，即使您的 conv 網絡中的空間尺寸很小，使用 Inception 模塊，我們也可以通過多尺度卷積連接使用高維表示：1x1、3x3、3x3-3x3、max pool 全部放在一起。這些 Inception 模塊具有“寬度”，因為它們可以被解釋為並行執行多個操作。他們使用新的 Inception 模塊走得更遠，這些模塊具有分解卷積大小、1x3、3x1 等。
- 使用 1x1 卷積層（網絡風格的網絡）來降低維度。他們使用了大量的降維技術來實現參數效率。他們認為這是有效的，因為相鄰的特徵圖具有高度相關的輸出。這是有道理的，因為眾所周知，自然圖像會表現出一些與此一致的局部統計特性。因此，通過 1x1 NIN 層降低維度不會對錶示能力產生災難性影響。
文章中還有更多內容。我認為這是一篇文章，可以提供一些關於您所問問題的見解。他們正在談論conv net架構設計的一些非常核心的概念。