高斯变换建模与分布估计 回归函数

对于所有这些(u，v)∈rn×rn-和任何解b∈θ,我们有supb∈θp(b，u，v)=nxi=1n-ui(bTi)-vi(bTi)o=-bnxi=1{uiti+viti}=0。因此，对于所有(u，v)∈rn×rn-使得参数bp(b，u，v)=0,p(b，u，v)的最优值为0。结合似然共轭表达式(E.1)和规则条件(E.2)给出了所有(u，v)使得参数bp(b，u，v)=0的拉格朗日对偶函数g(u，v)。对偶GT回归问题（5.2）的形式如下。对于(5.2)isL(u,v,b)=-n(1-κ)+nxi=1ui-log(-vi)-bnxi=1{tiui+tivi}，具有有限阶条件uil(u,v,b)=ui-bti=0,vil(u,v,b)=-vi-bti=0,i∈{1,..,n}，等价地，在求解uiand vi,ui=bTi,vi=-bTi,i∈{1,..,n}时，(e.3)代入（5.2）的约束条件后，我们得到了（5.2）的矩量法表示。在定理5(i)的证明中证明了解Bb∈θ的存在性。该Hessian矩阵为-∑ni=1{titi+titi/(bti)}，其概率为负，引理6为1。因此，GT回归问题（4.1）存在唯一的解，概率接近1。程序（5.2）的解（bu,bv）的存在性从解Bb∈θ的存在性到ML问题（4.1）的有限阶条件和对偶问题（5.2）的动量表示法，当对i∈{1,...,n}设置Bui=bbti,Bvi=-1/(bbti）时。我们现在证明，对于所有的b∈θ,映射(u，v)7→L(u，v，b)在Rn×Rn-中存在最大值。对偶问题（5.2）的序条件为ui,uiL(u,v,b)=1,ui,viL(u,v,b)=0 vi,uiL(u,v,b)=0,vi,viL(u,v,b)=vi。因此，(u,v)7→L(u,v,b)的Hessian矩阵对所有的b∈θ是正的，因此，映射(u,v)7→L(u,v,b)是严格凸的，有唯一解(bu,bv）。当使用(E.3)且BEI=BBTI和Bηi=BBTI,i∈1,...,n}时，程序(5.2)isL(bu,bv,bb)=-n(1-κ)+NXI=1BE+log(Bηi)-NXI=1BE-1=nκ-NXI=1BE-log(Bηi)的值，即ML问题（4.1）在解E.3下的值。定理9的证明。设kbk1,BW=PJKL=1BWLBL。类似于定理8(i)的证明，自适应Lasso GT回归问题的一个等价公式Mismismax(b，e，η)∈θ×rn×rn+nκ-nxi=1ei-log(ηi)-λnkbk1,bw服从ei=bTi,ηi=bTi,i∈{1,..,n}，且设（u,v)∈Rn×Rn-表示拉格朗日乘子向量，对应的拉格朗日对偶函数可写成:asg(u,v)=sup(e,η)∈Rn×Rn+nxi=1uiei+viηi-nκ+ei-log(ηi)+supb∈θ(-nxi=1ui(b>ti)-nxi=1vi(b>ti)-nxi=1vi(b>ti)-λnkbk1,bw),其中的项是pni=1{-nκ+ei/2-log(ηi)}的凸共轭项，在定理8(i)的证明中导出。对于第二项(bTi)+NXI=1VI(bTi)+λNKBK1,bw,b∈RJK，它在b中是凸的，但不光滑。为了计算F(b)的次梯度，我们计算了kbk1,BW的次梯度。若权值满足bwl>0forbbl6=0和bwl=0，则加权范数kbk1,bw=max{sb:sl∈{-bwl,bwl}}可以写成2n个线性函数的最大值。由主动函数atb的梯度的所有凸组合给出的kbk1，bwis的子函数（Boyd和Vandenberghe，2008)。我们通过定义s=(s，..，sJK),sl∈{-bwl,bwl}来识别一个主动函数sb，使得sb=kbk1,bw。对于每个L选择sl=bwlif bl>0，并且sl=-bwlif bl<0。如果BL=0，则选择SL=-BWLOR或SL=BWL。因此，takezl=bwlif bl>0-bwlif bl<0-bwlor bwlif bl=0,l∈{1,...,JK}。kbk1,bwis:kbk1,bw=nz:zl≤bwl,l∈{1,...,JK},zb=kbk1,bwo。因此，F(b)的子梯度为:F(b)=(Nxi=1uiti.l+nxi=1viti.l+λnzl,l∈{1,...,JK}）,其中zl≤bwl,l∈{1,...,JK}。

,JK},zb=kbk1,bw,即z是kbk1,bw的次梯度。次梯度最优性条件是存在b使得0∈F(b).Thusb,z应满足YZL=-NXI=1{uiTi,l+viti,l}/λn,zl≤bwl,zb=b1,bw,l∈{1,...,JK},等价于(E.4)nxi=1{Ti,lui+Ti,lvi}≤λnbwl,l∈{1,....,JK}。当代入F(b)givesF(b)=infb∈θF(b)=nxi=1ui(bTi)+nxi=1vi(bTi)+λnjkxl=1-pni=1{uiTi,l+viti,l}λnbl=nxi=1nui(bTi)+vi(bTi)O-nxi=1(Uijkxl=1ti,lbl+vijkxl=1ti,lbl)=0时，F(b)的最优值为0,结合似然共轭表达式(E.1)和最优性条件(E.4)给出了所有(u，v)的拉格朗日对偶函数(u，v)，使得(E.4)成立.下面是（4.2）的形式。ReferencesAndrews,D.(1997)。条件Kolmogorov检验。Econometrica(65年9月），第15页。1097-1128.Boyd,S.P.和Vandenberghe,L.（2004）。凸优化。CambridgeUniversity Press.Boyd,S.P.和Vandenberghe，L.(2008)。次梯度。EE364B注释。斯坦福大学，2006年冬天，第7页，第1-7页。陈，林，戈尔茨坦，林，邵，Q.M.（2010年）。正态逼近Bystein法。斯普林格科学与商业媒体。Chernozhukov,V.，Fernandez-Val,I.和Galichon,A.（2010）。不交叉的分位数和概率曲线。Econometrica 78（5月3日），第1093-1125页。Chernozhukov,V.Fernandez-Val,I.和Melly,B.（2013）。反事实分布的推论。Econometrica 81（11月6日），第2205-2268页。Chernozhukov,V.,Wuthrich,K.和Zhu,Y.(2019)。分布共形预测。eprint arxiv:1909.07889.Chernozhukov,V.Fernandez-Val,I.Newey,W.Stouli,S.和Vella,F.（2020年）。不可分三角模型中结构函数的半参数估计。《数量经济学》，第11页，第503-533页。Chesher,A.（2003）。在不可分离的模型中识别。Econometrica(71,9月）,第1405-1441页。Chesher,A.和Spady,R.H.（1991）。信息矩阵检验统计量的渐近展开。Econometrica(59,May）,第787-815页。Curry,H.B.和Schoenberg,I.J.（1966）。关于Polya频率函数的四：基本样条函数及其极限。J.分析数学。17,第71-107,196页6.Dinardo,J.,Fortin,N.M.和Lemieux,T.（1996）。劳动力市场制度与工资分配，1973-1992：半参数方法。Econometrica 64（5）,第1001-1044页。Domahidi A.,Chu,E.和Boyd,S.（2013）。ECOS：一个用于嵌入式系统的SOCP求解器。摘自《欧洲控制会议论文集》，第3071-3076页。（2002）。真实分析和概率。剑桥大学出版社，第2版，F.Foresi,S.和Peracchi,F.（1995）。超额收益的条件分布：一个实证分析。美国统计协会杂志，90(430)，页。451-466.Fu,A.，Narasimhan,B.和Boyd,S.（2017）。CVXR：一个用于规则凸优化的R包。arXiv预印本arXiv:1711.07582.霍尔，P.，Wolff,R.C.和Yao,Q.(1999)。估计条件分布函数的方法。《美国统计协会杂志》，94(445)，第154-163页。Horn,R.A.和Johnson,C.R.R.（2012）。矩阵分析。第2版，坎布里奇大学出版社，霍洛维茨，J.和内斯海姆，L.(2020)。用惩罚似然法选择随机Coe-Cients多项式logit模型中的参数。《计量经济学杂志》，即将出版。Hyndman,R.J.,Bashtannyk,D.M.和Grunwald（1996）。估计和可视化条件密度。计算与图形统计学报，5(4),第315-336页。Imbens,G.和Newey,W.K.（2009）。无可加性三角联立方程模型的识别与估计。Econometrica 77（9月5日），第页。1481-1512.Koenker,R.（2000）。高尔顿，埃奇沃思，弗里施，和计量经济学中分位数回归的前景。计量经济学杂志95（2）,第347-374页。Koenker,R.和Bassett,G.（1978）。回归分位数。Econometrica(46)，页。33-50.Kooperberg,C.和Stone,C.J.（1991）。

对数样条密度估计的研究。计算统计与数据分析12（3）,第327-347页。卢文，戈德堡，Y.和Fine，J.P.(2012).关于自适应弹性对模型误码的鲁棒性。Biometrika 99,第717-731页，Matzkin,R.（2003）。非可加随机函数的非参数估计。经济计量学（71,9月），第1339-1375页。Newey,W.和Mc Fadden,D.（1994）。大样本估计和假设检验。载《计量经济学手册》。4,CH。36,第1版，第2111-2245页。阿姆斯特丹：Elsevier.O\'Donoghue,B.,Chu,E.,Parikh,N.和Boyd,S.（2016）。基于算子分裂和齐次自对偶嵌入的圆锥曲线优化。优化理论与应用学报，169(3)，第1042-1068页。欧文，A.B.(2007)。lasso和岭回归的稳健混合。当代数学443（7）,第59-72页。R开发核心团队（2020）。R：统计计算的语言和环境。奥地利维也纳：统计计算基金会。拉姆齐，J.O.(1988)。单调回归样条函数。统计科学3(4)，第425-441页。Rana，I.K.(2002)。测量和集成导论。卷。45.美国数学学会。Rosenblatt,M.（1952）。关于一个多元变换的注记。《数理统计年鉴》23(3)，第470-472页。Spady,R.H.和Stouli,S.(2018a)。对偶回归。Biometrika 105，第1-18页，Spady,R.H.和Stouli，S.(2018b)。同时均值-方差回归。Eprint arxiv:1804.01631.怀特，H.(1982)。错误模型的最大似然估计。Econometrica(50，1月），第1-25页。Wooldridge,J.M.(2010)。横截面与面板数据的计量分析。麻省理工学院出版社，邹海（2006）。自适应套索及其oracle特性。美国统计协会杂志，101(476)，第1418-1429页。