非凸正则化稀疏降秩回归

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Sparse Reduced Rank Regression With Nonconvex Regularization》
---
作者：
Ziping Zhao, Daniel P. Palomar
---
最新提交年份：
2018
---
英文摘要：
  In this paper, the estimation problem for sparse reduced rank regression (SRRR) model is considered. The SRRR model is widely used for dimension reduction and variable selection with applications in signal processing, econometrics, etc. The problem is formulated to minimize the least squares loss with a sparsity-inducing penalty considering an orthogonality constraint. Convex sparsity-inducing functions have been used for SRRR in literature. In this work, a nonconvex function is proposed for better sparsity inducing. An efficient algorithm is developed based on the alternating minimization (or projection) method to solve the nonconvex optimization problem. Numerical simulations show that the proposed algorithm is much more efficient compared to the benchmark methods and the nonconvex function can result in a better estimation accuracy.
---
中文摘要：
本文研究稀疏降秩回归（SRRR）模型的估计问题。SRRR模型广泛用于降维和变量选择，在信号处理、计量经济学等领域有着广泛的应用。该问题是在考虑正交约束的情况下，通过稀疏诱导惩罚最小化最小二乘损失的问题。文献中已将凸稀疏诱导函数用于SRRR。在这项工作中，提出了一个非凸函数来更好地诱导稀疏性。基于交替极小化（或投影）方法，提出了一种求解非凸优化问题的有效算法。数值仿真结果表明，与基准方法相比，该算法具有更高的效率，非凸函数的估计精度更高。
---
分类信息：

一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--
一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Computational Finance        计算金融学
分类描述：Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法，包括蒙特卡罗，偏微分方程，格子和其他数值方法，并应用于金融建模
--
一级分类：Statistics        统计学
二级分类：Methodology        方法论
分类描述：Design, Surveys, Model Selection, Multiple Testing, Multivariate Methods, Signal and Image Processing, Time Series, Smoothing, Spatial Statistics, Survival Analysis, Nonparametric and Semiparametric Methods
设计，调查，模型选择，多重检验，多元方法，信号和图像处理，时间序列，平滑，空间统计，生存分析，非参数和半参数方法
--

---
PDF下载：
--> Sparse_Reduced_Rank_Regression_With_Nonconvex_Regularization.pdf (206.85 KB)

2022-6-9 19:53:34 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：正则化 Applications Multivariate Quantitative Optimization

具有非凸正则化的稀疏降阶回归IEEE学生成员Ziping Zhao和IEEEAbstracts研究员Daniel P.Palomar在本文中，考虑了稀疏降阶回归（SRRR）模型的估计问题。SRRR模型广泛应用于维数约简和变量选择，在信号处理、计量经济学等领域有着广泛的应用。该问题的目的是在考虑正交约束的情况下，用稀疏诱导惩罚最小化平方损失。在文献中，凸稀疏诱导函数被用于SRRR。在这项工作中，提出了一个非凸函数来更好地进行稀疏诱导。基于交替极小化（或投影）方法，开发了一种有效的算法来解决非凸优化问题。数值模拟表明，与benchm-ark方法相比，prop-osedalgorithm方法更有效，非凸函数可以获得更好的估计精度。指数项多变量回归、低秩、变量选择、因子分析、非凸优化。一、 简介降秩回归（RRR）[1]、[2]是一种多元线性回归模型，其中系数矩阵具有低秩特性。伊森曼（Izenman）[3]首先提出了“降阶回归”的名称。用yt表示响应变量（或因变量）∈ RPandpredictor（或独立）变量（按xt）∈ RQ，一般RRR模型如下所示：yt=u+ABTxt+εt，（1）这项工作得到了香港RGC 16208917研究基金的支持。赵志强的工作得到了香港博士研究生奖学金计划（HKPFS）的支持。Z、 赵和D.P。

Palomar就职于香港九龙清水湾香港科技大学电子与计算机工程系（电子邮件：ziping）。zhao@connect.ust.hk; palomar@ust.hk).其中回归参数为u∈ RP，A∈ RP×rand B∈ RQ×randε是最大的创新。矩阵A通常被称为敏感度（或暴露）矩阵，B被称为因子矩阵，线性组合Btxt被称为潜在因子。ABTESSION形成的“低阶结构”大大降低了模型的参数维数，提高了模型的解释能力。当响应变量被认为依赖于预测变量的几个线性组合时，或者当这种线性组合特别重要时，RRR模型被广泛使用。RRR模型已用于许多信号处理问题，例如阵列信号处理[4]、状态空间建模[5]、滤波器设计[6]、无线通信信道估计和均衡[7]–[9]等。它还广泛应用于经济指标和金融经济学。计量经济学中的问题也是研究RR估计问题的动机【1】。在金融经济学中，当通过一组经济变量的滞后值对一组经济指数进行建模时，可以使用它。它还被广泛用于建模金融资产收益率与一些相关解释变量之间的关系。有人提出了几种资产定价理论来测试投资组合的效率【10】，并通过降阶回归测试对行业投资组合的资产回报数据进行了实证验证【11】。RRR模型与时间序列建模中的向量误差校正模型[12]密切相关，潜在因素可用于统计数据比率[13]。

有关RRR模型的更多应用，请参见[14]。与因子提取的低秩结构一样，也可以考虑矩阵B通道上的行群稀疏性来进一步实现预测变量选择，这导致了sp-arseRRR（SRRR）模型[15]。由于Btxt可以解释为连接响应变量和预测值的线性因子，SRRR只能生成所有预测值的子集。变量选择是数据分析中非常重要的目标，因为它有助于模型的解释性，提高估计和预测的准确性。在[15]中，作者首先考虑了SRRR估计问题，其中群体稀疏导致了群体套索惩罚[16]。提出了一种基于交替最小化（AltMin）方法的算法[17]。然而，该算法有一个双环，其中次梯度或变分方法用于内部问题的求解。由于双循环特性，这种算法在实践中可能会非常慢，其中可能需要大量迭代才能在每次迭代中获得足够精确的解。除此之外，除了用于稀疏性诱导的凸函数外，人们普遍认为非凸稀疏性诱导函数可以获得更好的性能[18]，本文建议将其用于稀疏性估计。本文将SRRR估计问题的目标定为具有稀疏诱导性的一般最小二乘损失。为了进行模型识别，添加了正交性约束[15]。为了解决这个问题，提出了一种基于AltMin的单循环算法。为了追求低成本的更新步骤，进一步采用了优化最小化方法[19]和非凸性再分配方法[20]，使变量更新成为两个闭合形式的投影。

数值仿真结果表明，与基准算法相比，该算法效率更高，非凸函数可以获得更好的估计精度。二、稀疏降秩回归SRRR估计问题的形式如下：最小化A、BF（A，B）、L（A，B）+R（B），服从ATA=I，（2）其中L（A，B）是样本损失函数，R（B）是行群稀疏正则化器。添加约束ATA=I用于识别，以处理参数的酉不变性[15]。我们进一步假设样本路径{yt，xt}Nt=1（N≥ 最大值（P，Q））可从（1）获得。RRR模型的最小二乘l oss l（A，B）是通过最小化样本来获得的l-标准lo ss如下：L（A，B）=PNt=1年初至今- ABTxt文件=Y- ABTX公司F、 （3）式中，Y=[Y，…，yN]和X=[X，…，xN]。稀疏优化[21]作为实现变量选择的一种方法，已成为许多研究兴趣的焦点（例如，群体套索方法）。对于向量x∈ RK，稀疏度水平通常由l-标准，即kxk=PKi=1sgn（| xi |）。实际上l-norm被用作最紧的凸松弛，如[15]所示。虽然优化很容易，而且已经证明支持更稀疏的解决方案，但l-范数可能导致有偏估计。在本文中，截距项被省略，但没有失去[15]中的一般性，因为它总是可以通过假设响应和预测变量的平均值为零来删除-1-0.5 0 0.5 10.20.40.60.81.2图。1、本项目l-”标准“kxk，sgn（x），l-范数ρl（| x |）、| x |和非凸非光滑稀疏诱导函数ρ（| x |）。解决方案不如预期的精确和稀疏，并产生较差的预测性能[18]。非凸正则化子具有严格的凸性，但具有更严格的逼近性能，建议用于稀疏诱导，其性能优于凸正则化子l-标准

本文考虑了两个由ρ（| x |）表示的非光滑稀疏诱导函数：非凸的Geman函数[22]和凸的l-标准然后，由ρ（| x |）导出的行群稀疏正则化器R（B）如下所示：R（B）=PQi=1ξiρ（kbik），（4）其中bidenotes是B的第i行，ρ（| x |）来自ρGM（| x |）=x |θ+| x |（θ>0）和ρl（| x |）=| x |，如图1所示。基于L（A，B）和R（B），由于非凸非光滑目标和非凸约束集，（2）中的问题是一个非凸非光滑优化问题。三、 基于交替极小化的问题求解问题（2）中的目标函数有两个变量b锁（A，b）。在本节中，将提出一种替代最小化（也称为两块坐标下降）算法[17]来解决该问题。在第（k+1）次迭代中，该算法根据以下两个步骤更新变量：A（k+1）← arg minA：ATA=如果A.B（k）B（k+1）← arg最小BFBA（k+1）,（5） 在哪里A（k），B（k）是在第k次迭代时生成的更新。首先，让我们从最小化步骤w.r.t.变量A开始。当B固定在B（k）时，问题变得最小化Y- AB（k）TXF受制于ATA=I，（6），其中” 表示“等效”至附加常数。这个非凸问题是经典的或正交的Procrustes问题（Projection）[23]，它有一个封闭形式的解，在下面的引理中给出。引理1。[2 3]式（6）中的ort hogonal Procrustes问题可以等效地重新表述为以下形式：最小化A.- P（k）AF受制于ATA=I，其中P（k）A，YXTB（k）。设细奇异值分解（SV D）为PA=USVT，其中U∈ RQ×rand S，V∈ Rr×r，则最优upda te A（k+1）给定为b yA（k+1）=UVT。

（7） 然后，当用A（k+1）来定义A时，B的问题是最小化ebf（B）=Y- A（k+1）BTXF+PQi=1ξiρ（kbik），（8），这是一个惩罚多元回归模型。它没有解析解，但有标准的非凸优化算法，所以可以应用lvers来解决它。然而，使用这些方法将导致迭代过程，这在效率方面可能是不可取的。此外，由于这个问题的n非凸性，如果不考虑解的质量，为了简单起见，FA.B（k）表示为F（A），同样，其他函数中的固定变量A（k）和/或B（k）也将在下面减少。可以说，总体交替算法一般不能保证收敛到一个有意义的点。本文在保证总体算法收敛的同时，通过一个简单的更新规则来解决B子问题。我们建议通过为p问题（8）[19]，[24]编写的asB（k+1）解决一个m aj orized problem来更新B← arg最小BFBA（k+1），B（k）, （9） 其中FBA（k+1），B（k）或者简单地说，F（B）是F（B）在（A（k+1），B（k））的主函数。为了得到f（B），我们需要以下结果。引理2。[19] 让A∈ SK，然后在任意点x（k）∈ RK，xTAx主要如下：xTAx≤x（k）税（k）+2x（k）TAx个- x（k）+ ψ（A）x个- x（k）,式中ψ（A）≥ λmax（A）是预先规定的常数。注意到第一部分BA（k+1）, i、 e.最小squ面积损失LBA（k+1）, 在B中是二次的，基于命题2，我们可以得到以下结果。引理3。函数LBA（k+1）可以在A（k+1），B（k）byL（B）ψ（G（k））B- P（k）BF、 式中，G（k），A（k+1）TA（k+1）XXT，ψG（k）≥ λmaxG（k）, an d P（k）B，ψ-1.G（k）XYTA（k+1）-ψ-1.G（k）XXTB（k）A（k+1）TA（k+1）+B（k）。证明：证明很琐碎，因此被省略了。同样，m aj orization方法也可以应用于正则化器R（B）。

但我们需要以下结果。提案4。[20] 非光滑稀疏诱导函数ρ（| x |）可分解为ρ（| x |）=κ| x |+ρ（| x |）- κ| x |，其中ρ（| x |）-当k，ρ′（0+）时，k | x |是一个光滑的凹函数。具体而言，对于ρl（| x |），κ=1；对于ρGM（| x |），κ=1/θ-10-8-6-4-2 0 2 4 6 8 10-3-2-1GM+GMG图。ρGM（| x |）的非凸重分布方法命题4的示例如图2所示。基于命题4，我们可以相应地分解行群稀疏正则化R（B）asR（B）=R+（B）+R-（B） ，（10）式中，R+（B）=κPQi=1ξikbik，它正好采用经典群lasso andR的形式-（B） =R（B）- R+（B）。对于R-（B） ，我们可以得到以下优化结果。引理5。函数R-（B） 可在B（k）byR主修-（B） Tr公司K（K）TB,其中K（K）=R-′B（k）带R-′B（k）为R的梯度-（B） 在点B（k）和规格k（k）i，ξihρ′处b（k）i- κib（k）ib（k）i,其中k（k）ide表示k（k）的第i列。证明：证明很琐碎，因此被省略了。基于引理3和R中的onL（B）-（B） 在引理5中，如果F（B）=L（B）+R+（B）+R，我们最终可以得到F（B）的优化函数-（B）ψG（k）B- P（k）B，RF+R+（B），（11）式中P（k）B，R，P（k）B- ψ-1.G（k）K（K）。使用引理3和引理5的结果是，我们将与非凸正则化子相关的非凸性转移到损失函数，并将非凸正则化子转化为常见的凸群lasso正则化子。很容易观察到，上述算法推导可以很容易地应用于经典群Lassoan，在这种情况下K（K）=0。最后，B-子问题的优化问题以以下形式给出：极小BψG（k）B- P（k）B，RF+θPQi=1ξikbik，（12），可在矩阵B的行中分离。

由此产生的可分离问题可以使用近似算法[25]有效解决，并具有以下引理中给出的闭式解。引理6。（12）中的问题有一个封闭形式的近端更新，由b（k+1）i给出=1.-θξiψ（G（k））p（k）i+p（k）i，其中[x]+、max（x，0）和p（k）i是p（k）B的第i行，R.A.AltMin MM：SRRR估计算法基于交替最小化算法以及优化和非凸重分布方法，为了解决原始SRRR估计问题（2），我们只需交替使用闭式解更新变量，直到收敛。下面总结了整个算法。四、 为了验证问题模型和算法的性能，进行了数值模拟。本节考虑了数值模拟。B的SRRR（P=7，Q=5，r=3）具有下层稀疏结构。然后生成样本路径{xt，yt，εt}Nt=1。算法1 AltMin MM：SRRR估计算法要求：X，Y和ξi，i=1，r、 1：设置k=0、A（0）和B（0）。2： 重复3：计算P（k）A4：在闭式解（引理1）中更新A（k+1）5：计算G（k），ψ（G（k））和P（k）B，R6：在闭式解（引理6）中更新B（k+1）7：k← k+18：在收敛之前，我们首先检查我们提出的AltMin-MM算法的效率，其中稀疏调节器是组套索惩罚，即ρ（| x |）=| x |，这在[15]中采用。对于（2）中的propo-sedproblem问题，我们将该算法与基于AltMin的算法进行了比较，其中子问题由次梯度法（AltMin-SubGrad）和变分不等式法（AltMin-VarIneq）求解。目标函数值的收敛结果如图3所示。我很惊讶地看到，我们提出的算法可以有更快的收敛速度。

应该提到的是，虽然第一个下降步骤可以在基准方法中获得一个更优的解决方案，但由于需要大量迭代才能获得足够精度的解决方案，因此它们通常表现出较慢的收敛速度。我们进一步测试了正则化器基于非凸Gem-an函数i的情况。e、 ，ρ（| x |）=x |θ+| x |（θ=0.05）。由于文献中没有基准，我们提出的算法ALTMIN MM与一个基准进行了比较，在这个基准中，凸B子问题仅通过对非凸项R进行优化，就导出为原问题的一个最优问题-（B） 并使用CVX解决。目标函数收敛结果如图3和图4所示。我们还检验了所提出的公式和算法的估计精度。通过计算估计因子矩阵x space^B（m）与表示为θ（m）（^B（m），B）的真实空间B之间的角度进行评估，用于第m次蒙特卡罗模拟，m=1，曼德M=500。角度θ（m）（^B（m），B）计算如下【2】。首先，计算QRdecomposition ns^B（m）=QmRmand B=QR。接下来，计算QTmQ=UQSQVQ-2-1CPU时间（秒）的SVD高度最小值MM（道具）AltMin次级梯度AltMin VarIneqFig。3、目标函数值的收敛性比较（N=100）-2-1CPU时间（秒）高度最小值MM（道具）AltMin CVXFig。4、目标函数值的收敛性比较（N=100）。其中SQ的对角线元素写为s≥ . . . ≥ sr.那么，m最小角由θ（m）（^B（m），B）=arccos（s）给出。M Mont e-Carlo运行的平均角度由θ（^B，B）=MPMm=1θ（M）（^B（M），B）给出，其中可以取0（相同子空间）到π（正交子空间）之间的值。我们比较了三种情况：RRR估计（无稀疏性）、SRRR估计和凸稀疏诱导函数ρl（| x |），以及具有非凸稀疏诱导函数ρGM（| x |）的SRRR估计。