非線性最小二乘中協方差矩陣與雅可比矩陣的關係

我在http://www.mathworks.com/help/stats/nlinfit.htmlCovB = inv(J'*J)*MSE的 MATLAB 文檔中 看到了這一點， 但是，我找不到該關係的任何來源。我相信它，但我需要找到一個來源來引用它。我看過但我找不到。如果有人可以幫助我，那就太好了。

這是基於 Gauss-Newton 和 Levenberg-Marquardt 算法使用的非線性最小二乘問題的 Hessian 標準近似值。

考慮非線性最小二乘問題：最小化. 讓= r(x) 的雅可比行列式。目標的 Hessian =高階項。Gauss-Newton 或 Levenberg-Marquardt 近似是忽略高階項，將 Hessian 近似為. CovB = inv(J'*J)*MSEHessian 的這種近似值在 MATLAB 的 nlinfit中的公式中使用。

如果殘差 r(x) 接近於零，則解中的高階項接近於零。如果解處的殘差很大，則近似值可能非常不准確。請參閱https://www8.cs.umu.se/kurser/5DA001/HT07/lectures/lsq-handouts.pdf的前 7 張幻燈片。在https://en.wikipedia.org/wiki/Gauss%E2%80%93Newton_algorithm也有提及，但提供的細節較少。

引用自：https://stats.stackexchange.com/questions/231868