Regression
哪種 ML 算法可以學習非線性交互效果？
在我的回歸問題中，我有數字輸入列“A”、“B”和“C”以及數字目標“Target”。
關係是：“C”越高，對“B”的影響越大——“C”越低，對“A”的影響越大，以預測“目標”。現在這種關係是非線性的，但更像是二次的。
哪些回歸模型理論上能夠在不手動添加交互項的情況下學習這種交互關係？
任何通用逼近器都可以做到。你需要一個像 $ A(\beta_A+\beta_{A\times C}\times C) $ 出現，所以之間的相互作用 $ A $ 和 $ C $ 就夠了。
$$ A\times C = \frac{(A+C)^2-A^2-C^2}{2} $$
如果您有一個通用逼近器，它可以（局部）在其公式中的某處逼近二次形式，從而在不顯式乘法的情況下為您提供交互 $ A $ 和 $ C $ .
然後，唯一重要的是選擇一個通用逼近器。神經網絡通常是通用逼近器，具有無限維內核空間的內核機器（例如徑向基函數）也是如此。
在神經網絡上，如果你有輸入 $ A,B,C $ ，然後使用兩個隱藏層和正方形作為激活函數，您已經實現了交互的可能性。
考慮列向量 $ x = [A, B, C] $ :
$$ \hat y = W_2\sigma (W_1 x+b_1)+b_ 2 $$
$ W_1 x $ 通過初始特徵的加權和， $ h_1 = \sigma(W_1 x+b_1) $ 平方他們，最後 $ W_2h_1+b_ 2 $ 對平方項進行加權求和。