如果輸入數據有很多負值，是否最好避免使用 ReLu 作為激活函數？

ReLu 可能是當今機器學習中最流行的激活函數。然而，當輸入數據值為負時，ReLu 函數輸出 0。ReLu 完全無視負面數據。這可能會導致信息丟失。如果輸入數據有很多負值，是否最好避免使用 ReLu 作為激活函數？

不，因為選擇的激活函數不直接應用於輸入數據。最早應用在第一層之後： $ a(Wx+b) $ ，當權重被正確初始化時，會導致激活的正負輸入。

編輯：我指定了正確的初始化，因為它很重要。通常，權重被初始化為對稱分佈的小的隨機值 $ 0 $ , 並且偏差被初始化為完全 $ 0 $ . 這意味著最初，輸入在正負之間大致平均分配，這是一個很好的起點，因為我們希望處於可以利用 relu 非線性的一般區域內。

引用自：https://stats.stackexchange.com/questions/362461