Machine-Learning

一個神經網絡可以只用111隱藏層解決了什麼問題?

  • February 8, 2022

一個具有單個隱藏層的網絡可以 $ N $ 神經元(其中 $ N\le\infty $ ) 逼近任意函數,使該網絡的誤差接近 $ 0 $ 作為 $ N $ 方法 $ \infty $ ?

該問題詢問“任意功能”和“任何問題”;接受的答案只討論連續函數。

對於現在所說的問題的答案,在兩個版本中,顯然都是“否”。一些有趣的反例:

  • “任何問題”包括圖靈的Entscheidungsproblem,這是眾所周知的無法解決的問題。
  • “任意函數”,如果你想解決更“數學”的問題,可能會很奇怪。阿克曼函數是一個很好的例子,它具有相對溫和的定義,任何具有基本數學技能(和大量時間)的孩子都可以輕鬆計算它,但它以巨大速度增長(比指數快得多)。它不是原始遞歸的,也就是說,它不能由僅由for循環組成的程序計算,即每個循環的迭代次數在循環開始時是已知的。具有非常簡單的線性求和神經元結構和一些乘法的神經網絡僅限於原始遞歸函數(至少在無界域上)並且無法近似。
  • 有一些不連續的函數作為反例當然也很有效,例如Dirichlet 函數
  • 根據評論,並且腳踏實地,一個簡單的sin函數也可以提供關於 UAT 的反例。

引用自:https://stats.stackexchange.com/questions/563604

comments powered by Disqus