分段线性正则化解路径

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

摘要翻译：
我们考虑了一般的正则化优化问题$\hat{\mathsf{\beta}}(\lambda)=\arg\min_{\beta}L（{\sf{y}},X{\sf{\beta}}）+\lambda J（{\sf{\beta}}）$。Efron,Hastie,Johnstone和Tibshirani[Ann.Statist.32(2004)407-499]已经证明，对于套索--即，如果$L$是误差损失的平方，$J(\beta)=\\beta\1$是$\beta$的$\ell_1$范数--最优系数路径是分段线性的，即$\partial\hat{\beta}(\lambda)/\partial\lambda$是分段常数。我们得到了给出分段线性系数路径的（损失$L$，惩罚$J$)对性质的一般刻划。这样的对允许有效地生成完整的正则化系数路径。我们研究了高效路径跟踪算法的性质。我们利用我们的结果提出了用于回归和分类的LASSO的稳健版本，并为文献中存在的问题开发了新的、有效的算法，包括Mammen和van de Geer的局部自适应回归样条。
---
英文标题：
《Piecewise linear regularized solution paths》
---
作者：
Saharon Rosset, Ji Zhu
---
最新提交年份：
2007
---
分类信息：

一级分类：Mathematics        数学
二级分类：Statistics Theory        统计理论
分类描述：Applied, computational and theoretical statistics: e.g. statistical inference, regression, time series, multivariate analysis, data analysis, Markov chain Monte Carlo, design of experiments, case studies
应用统计、计算统计和理论统计：例如统计推断、回归、时间序列、多元分析、数据分析、马尔可夫链蒙特卡罗、实验设计、案例研究
--
一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--
一级分类：Statistics        统计学
二级分类：Statistics Theory        统计理论
分类描述：stat.TH is an alias for math.ST. Asymptotics, Bayesian Inference, Decision Theory, Estimation, Foundations, Inference, Testing.
Stat.Th是Math.St的别名。渐近，贝叶斯推论，决策理论，估计，基础，推论，检验。
--

---
英文摘要：
  We consider the generic regularized optimization problem $\hat{\mathsf{\beta}}(\lambda)=\arg \min_{\beta}L({\sf{y}},X{\sf{\beta}})+\lambda J({\sf{\beta}})$. Efron, Hastie, Johnstone and Tibshirani [Ann. Statist. 32 (2004) 407--499] have shown that for the LASSO--that is, if $L$ is squared error loss and $J(\beta)=\|\beta\|_1$ is the $\ell_1$ norm of $\beta$--the optimal coefficient path is piecewise linear, that is, $\partial \hat{\beta}(\lambda)/\partial \lambda$ is piecewise constant. We derive a general characterization of the properties of (loss $L$, penalty $J$) pairs which give piecewise linear coefficient paths. Such pairs allow for efficient generation of the full regularized coefficient paths. We investigate the nature of efficient path following algorithms which arise. We use our results to suggest robust versions of the LASSO for regression and classification, and to develop new, efficient algorithms for existing problems in the literature, including Mammen and van de Geer's locally adaptive regression splines.
---
PDF链接：
https://arxiv.org/pdf/708.2197

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：正则化 Multivariate Optimization coefficient Statistical 适应 用于 系数 证明 hat