Model-Selection
術語“最佳擬合”和交叉驗證中使用的“最佳”定義是什麼？
如果將非線性函數擬合到一組點（假設每個橫坐標只有一個縱坐標），則結果可以是：
- 一個非常複雜的函數，殘差很小
- 一個非常簡單的函數，殘差很大
交叉驗證通常用於找到這兩個極端之間的“最佳”折衷。但“最好”是什麼意思？是“最有可能”嗎？你將如何開始證明最有可能的解決方案是什麼？
我內心的聲音告訴我，CV 正在尋找某種最小能量解決方案。這讓我想到了熵，我隱約知道它在統計和物理學中都存在。
在我看來，“最佳”擬合是通過最小化複雜性和錯誤函數的總和來產生的，即
minimising m where m = c(Complexity) + e(Error)這有道理嗎？函數 c 和 e 是什麼？
請你能用非數學語言解釋，因為我不會懂很多數學。
我認為這是一個很好的問題。我將對其進行過渡，以確保我做對了：
似乎有很多方法可以選擇複雜度懲罰函數和錯誤懲罰函數. 哪個選擇是“最好的”。最好的意思是什麼？
我認為答案（如果有的話）將使您超越交叉驗證。我喜歡這個問題（以及一般的主題）如何與奧卡姆剃刀和對科學至關重要的簡約的一般概念很好地聯繫起來。我絕不是這方面的專家，但我發現這個問題非常有趣。關於這類問題，我所知道的最好的文本是Marcus Hutter 的《通用人工智能》（不過，不要問我任何關於它的問題，我大部分都沒讀過）。幾年前，我參加了 Hutter 的一次演講，印象非常深刻。
你認為那裡有一個最小熵參數是正確的（用於復雜性懲罰函數以某種方式）。Hutter 提倡使用Kolmogorov 複雜性而不是熵。此外，Hutter 對“最佳”的定義（據我所知）是（非正式地）最好地預測未來的模型*（*即最好地預測未來將觀察到的數據）。我不記得他是如何將這個概念形式化的。