Lasso 如何隨設計矩陣大小縮放？
如果我有一個設計矩陣， 在哪裡是維度的觀察次數, 求解的複雜度是多少帶套索，寫和? 我認為答案應該是指一次LASSO 迭代如何使用這些參數進行縮放，而不是迭代次數（收斂）如何縮放，除非您有其他感覺。
我已經閱讀了這個先前的 LASSO 複雜性問題，但它似乎與這里和這里關於 glmnet 的討論不一致。我知道那裡有很多算法，包括 glmnet 的 GLM 方法，但我正在寫一篇關於將 LASSO 組件替換為父算法的論文，並希望包括關於 LASSO 複雜性的一般討論，尤其是和. 我也想知道 glmnet 在基本非稀疏情況下的複雜性，但是由於整個算法的複雜性並不明確，因此引用的論文有點令人困惑。
參考文獻的答案，
- 最小角度回歸
- 用於坐標下降
， 是正確的。
不同之處在於
LARS方程以封閉形式編寫並找到精確解
（這樣做會跨越可能的 λ 的整個路徑，而計算複雜度的縮放比例與找到普通最小二乘問題的解相同，後者也縮放為)
儘管
坐標下降是近似解的迭代方案。所引用的步驟（其計算成本規模為) 是“僅”一個近似步驟，收斂/“下降”更接近 LASSO 問題的最小值。
LARS 使用（準確）找到解決方案的步驟*（第 k 步縮放的複雜度為, 第一項尋找非活動集中的內積和求解新角度的第二項活動變量）*。使用坐標下降，沒有人真正知道收斂速度和“充分”收斂所需/預期的步驟數（或者至少沒有很好地描述）。
另一方面成本對於高維會增加很多（雖然沒有充分的理由期望坐標下降的收斂速度類似地縮放，=線性，如果增加）。因此，直觀地坐標下降將在一定限度以上表現更好. 案例研究也證明了這一點（另請參閱參考資料，該參考資料表明 glmnet 在以下情況下的性能大多優於 LARS, 而對於算法執行類似）。
縮放 LARS 是一個涉及計算複雜性的問題。縮放坐標下降是一個涉及計算複雜性和收斂性的問題。