為什麼機器學習中的參數未經測試？

我不久前完成了機器學習 (ML) 課程。一切都是一個優化問題。無論您在 ML 中面臨什麼樣的預測挑戰，您通常都會最小化一些目標（即成本）函數。這樣做時，您會提出滿足您正在使用的方程的“最佳”參數（例如，梯度下降和線性回歸，其中 MSE 是您最小化的目標函數）。

是不是所有機器學習模型的情況都是這樣，當你找到最小化目標函數的最佳參數時，幾乎按照定義，你也找到了相同的統計顯著係數，否則你會發現如果你從一個stats perspective 哪裡的重點是統計顯著性檢驗？讓我們將“統計透視”定義為在 R 中運行模型並根據它們的統計顯著性或它們改變 AIC 的程度添加或刪除新變量。

是不是所有機器學習模型的情況都是這樣，當你找到最小化目標函數的最佳參數時，幾乎按照定義，你也找到了相同的統計顯著係數，否則你會發現如果你從一個stats perspective 哪裡的重點是統計顯著性檢驗？

在某些情況下，是的。如果您使用邏輯回歸作為分類器，則優化成本與優化對數似然度相同。不是每個模型都是這樣的。深度神經網絡不能很好地映射到統計對應物上（儘管我想對它們的統計特性有一些積極的研究）。

至於通過 AIC 或類似方法進行變量選擇，那將是一種特徵選擇形式。我認為這是自己要問的問題。

至於您的名義問題，推理不是我們的主要關注點。其預測能力。此外，大多數 ML 問題（大多數，不是全部）都使用如此龐大的數據集，以至於重要性變成了稻草人。數據的絕對規模將允許進行高精度估計，並且由於沒有影響真正為 0，您會發現所有影響都很重要。

引用自：https://stats.stackexchange.com/questions/519219