何時在神經網絡中“添加”層以及何時“連接”？

我正在使用 keras 中定義的“添加”和“連接”。基本上，據我了解，add將對輸入求和（它們是層，本質上是張量）。因此，如果第一層具有特定的權重 as0.4並且具有相同確切形狀的另一層具有相應的權重存在0.5，那麼之後add新的權重變為0.9。

但是，對於串聯，假設第一層有維度64x128x128，第二層有維度32x128x128，然後在串聯之後，新維度是96x128128（假設您將第二層作為第一個輸入傳遞給串聯）。

假設我的上述直覺是正確的，我什麼時候會使用其中一個？從概念上講，add似乎是一種可能導致信息失真的信息共享，而連接是字面意義上的信息共享。

如果您想將其中一個輸入解釋為另一個輸入的殘餘“校正”或“增量”，則添加是很好的。例如，ResNet 中的殘差連接通常被解釋為對特徵圖的連續細化。如果兩個輸入不是非常密切相關，則連接可能會更自然。但是，差異比您想像的要小。

注意在哪裡表示連接和被水平分割成和. 將此與. 因此，您可以將添加解釋為一種連接形式，其中權重矩陣的兩半被限制為.

引用自：https://stats.stackexchange.com/questions/361018