高斯变换建模与分布估计 回归函数

thevectorbbal=(bbA,bbAc）的编写方式类似。我们给出了BBAL的渐近性质。定理6。假定假设1-3成立，λn→∞和n-1/2λn→0为n→∞。则(i)pr[bbac=0]→1,和(ii)n1/2(ba-b*a)→dn(0,γ-1aaγ-1a),其中γa、a分别是γ和ζ的左上角p×p块。分布回归函数的估计。分布回归函数的估计量形成为估计量forb*的已知函数。设TA(X，Y)表示T(X，Y)对应于BBA的分量的子向量，并对TAc(X，Y)进行类比。Letb_b_n表示ML估计值B_b或惩罚ML估计值(bbA,0 jk-p)，设T_(X，Y)=T(X，Y)IFB_b_b=BB，否则T_(X，Y)=(TA(X，Y)，TA(X，Y)，TA(X，Y)，TA(X，Y))。GT G*(y,x）的估计量为BG*(y,x)T_8(x,y)BB_8(y,x）,(y,x)∈Yx。分布回归函数的相应估计分别为:asbf*(y，x)Φ(bg*(y，x))，bf*(y，x)φ(bg*(y，x)){ybg*(y，x)}，(y，x)∈YX,和bq*(x，u){y∈R:Φ(bg*(y，x))=u,ybg*(y，x)>0}，x∈x，u∈Ux(g^)。应用Delta方法得到了分布回归函数的ML估计和自适应Lasso估计的渐近分布。定理7。假定1-1为正解。在假设1-3下，我们有:(i)对于(y，x)∈YX，n(bf*(y，x)-f*(y，x))→dn0,φ(G*(y，x))T(x，y)T(x，y))，和n(bf*(y，x)-f*(y，x))→dn0,φ(G*(y，x)))(x，y)(x，y)(x，y)(x，y)(x，y)，其中(x，y)-g*(y，x){yg*(y，x)}T(x，y)+T(x，y)；(ii)对于x∈x和u∈Ux(Gó),n(bqó(x,u)-qó(x,u))→dn0,{ygó(y,x）}T(x,y)T(x,y）,其中y=qó(u,x）。未惩罚估计量和惩罚估计量的渐近方差依赖于bb_∞的渐近方差-协方差矩阵，分别根据定理5或定理6代入相应的估计量。注5。为了实现无惩罚估计量(4.1)，我们将原参数空间θ展开为Qn(b)的内射域θn={b∈Rjk:bt(xi，yi)>0,i∈{1,...,n}}。这意味着存在b∈θn，使得bt(X，Y)≤0，且概率为正。我们通过在覆盖x的值网格上对每个感兴趣的分位数级u检验拟全局单调性(QGM)性质BBT(x,Bq*(x,u))>0来验证TBb∈θ在估计后成立。如果该网格中的某些(x，u)违反了QGM,则在覆盖y×x的粗网格上，对于某个小常数>0，通过增加形式为bT(x，y)≥s的线性不等式约束来反复重估该BB，直到QGM满足为止。备注6。为了实现惩罚估计量(4.2)，我们还将原来的参数空间θ扩展为θn，但不考虑增加单调约束，而是排除了QGM性质不成立的惩罚参数值λn。5.对偶理论：我们提出的凹似然公式具有相当大的计算优势，其中GT用封闭形式表示。GT回归问题（4.1）对应于一个可以投射到现代凸规划框架（Boyd and Vandenberghe，2004)中的对偶公式。我们导出了这个对偶公式，并建立了相应的对偶解的性质。定理8。如果假设1-3成立，则以下成立:(i)(4.1)ismin(u,v)∈rn×(-∞,0)n-n log(2π)+1+nxi=1ui-log(-vi)(5.1)的对偶服从-nxi=1{T(xi,(ii)对偶GT回归程序(5.1)-(5.2)允许矩量法表示nxi=1-t(xi，yi){bT(xi，yi)}+t(xi，yi)bT(xi，yi)bT(xi，yi)=0，(4.1)的阶条件。(iii)在概率接近1的情况下，我们有：(a)存在唯一性，即存在唯一对（bb,bα)解(4.1)和(5.1)-(5.2)，和(5.3)bui=bbt(xi，yi)，vi=-bbt(xi，yi)，i。∈{1,..

强对偶，即（4.1）的值等于（5.1）-（5.2）的值。定理8建立的对偶公式证明了GT回归的重要计算性质。对偶问题(5.1)-(5.2)的Hessian矩阵是“inn×nn×ndiag(1/vi)#,是对所有v∈(-∞,0)n的正的对角矩阵，其中n×n单位矩阵和diag(1/vi)是n×n带元素的对角矩阵。因此，该对偶问题是一个具有稀疏Hessian矩阵和JK线性约束的严格凸数学规划。这种计算方便的公式被最先进的凸编程求解器如ECOS(Domahidi，Domahidi，Domahidi，Domahidi，Domahidi，Domahidi，Domahidi，Domahidi，Domahidi，朱棣文和博伊德，2013）和SCS(O\'Donoghue，朱棣文，帕里克，还有博伊德，与CQFs和条件CDFs（Spady and Stouli,2018a)的可供选择的广义对偶回归刻画相比，除了解的KLIC最优性和目标中全局单调性的对数Barrier，约束的线性性是对偶公式(5.1)-(5.2)的一个重要优点，对偶公式(5.1)-(5.2)的数学程序为(5.4)maxe∈Rn(ye:nxi=1T(xi，ei)=0)的形式，其中T(xi，ei)是xiand ei包括eiand(ei-1)/2的已知函数的特定向量，因此参数向量e非线性地进入约束中。其中BB是（5.4）中约束条件的拉格朗日乘子向量，而不是（5.3）中的闭式表达式，它现在由一个n个非线性方程组决定。这进一步说明了GT e=g(Y，X)及其导函数的闭式建模与直接对结果yiin(5.5)建模相比所产生的重要作用。对偶公式推广到惩罚估计量（4.2）。定理9。(4.2)ismin(u,v)∈rn×(-∞,0)n-n log(2π)+1+nxi=1ui-log(-vi)的对偶，服从nxi=1{Ti,lui+Ti,lvi}≤λnbwl,l∈{1,...,JK}。对偶自适应Lasso GT回归问题。注7.对于bwl=1,对于每个l∈{1,...,JK}，对偶自适应Lasso GT回归问题归结为对偶Lasso GT回归问题，其约束条件为skpni=1{tiui+tivi}k∞≤λn。6.一个说明性的例子在本节中，我们用澳大利亚墨尔本的日气温分布（1）模型的估计来说明我们的框架。该数据集由3650个连续的日最高温度组成，最初由Hyndman，Bashtannyk和Grunwald(1996)分析。对该数据集的分布回归函数的估计具有挑战性，因为结果分布的形状，今天的温度Yt，给定昨天的温度YT-1，在YT-1的值之间变化。Koenker(2000)将分位数回归应用于这个数据集，发现非常热的日子之后的温度是双峰分布的，较低的温度响应于温度的突变，即温度要冷得多，而凉爽的日子之后的温度是单峰分布的。

与Koenker(2000)相比，我们获得在整个数据支持中表现良好的CQF，我们估计了相应的条件PDFs和CDFs，我们给出了所有分布回归函数的约束带。我们通过对E*=G*(Yt,yt-1)=[W(yt-1)s(Yt)]b*及其导数函数：（1）线性-线性：我们设置s(Yt)=(0,1）,s(Yt)=(1，Yt)和W(yt-1)=(1，yt-1)。（2）线性Y和样条-X：我们设置s(Yt)=(0,1）,s(Yt)=(1，Yt)和W(yt-1)=(1，fW(yt-1))，其中fW(yt-1)是k-1个B-样条函数的向量。（3）样条-Y和线性-X：我们设置s(Yt)=(0,1,es(Yt))，其中es(Yt)是j-2个B-样条函数的向量，并且s(Yt)=(1，Yt，es(Yt)=(1,Yt，Yt)=(1,其中j(Yt)=yt-∞es(r)dr,j∈{1,。（4）样条-样条：我们设置s(Yt)=(0,1,es(Yt))，s(Yt)=(1，Yt，es(Yt))和W(yt-1)=(1，fW(yt-1))。对于第2类和第4类，我们考虑了一组模型，包括W(yt-1)中的三次B-样条变换，其中K∈{6,，，W(yt-1)=(0,1,es(Yt))=(1,yt-1)=(1,yt-1)=(1,yt-1)=(1,yt-1)=(1,fW(yt-1)=(1,fW(yt-1)...,14}和等间距节。对于第3类和第4类，我们考虑了一组具有等间隔结的包含二次B样条变换的模型s(Yt)和包含三次B样条变换的模型J∈{5,6}。样条函数满足我们的建模框架的条件，并且在应用于logdensity估计（Kooperberg and Stone，2001)或单调回归函数估计（Ramsay,1988）的相关问题时，具有显著的E-效果。首先，我们在[0.001,0.5]中的一个小的对数间隔网格中对5个λn值中的每一个进行惩罚，对截距和Y coe_cients没有惩罚，即我们设置bw=bwj+1=0。其次，遵循关于adaptive Lasso ML的文献(Lu，Goldberg，and Fine，2012；Horowitzand Nesheim，2020)，我们在满足QGM的惩罚估计中选择使贝叶斯信息标准(BIC)最小化的λn值（参见备注5）。第三，我们记录相应的选择估计的BIC值。在补充材料中，我们详细描述了QGM属性的实现，所有的计算过程都可以在软件R（R DevelopmentCore Team，2020)中实现，使用用于凸优化的开放源码软件包，如CVX，及其R实现CVXR(Fu，Narasimhan和Boyd，2017)。图6.1显示了在每个特性类1-3中记录的BIC最小的模型的CQFs，说明了each1020304010 20 30 40昨天的温度条件分位数函数(a)规范中的数据特性。1.1020304010 20 30 40昨天的温度条件分位数函数(b)规范。2.1020304010 20 30 40昨天的温度条件分位数函数(c)规范。3.图6.1。具有散点图的CQF，对于u∈0.05,0.10,...,0.95}。指定类捕获，以及对给定yt-1的隐含分布的相应限制。对于类1和类2，这个隐含的分布被限制在Yt-1的所有值上的高斯性。图6.1(A)显示，特殊类别1也强烈限制了YT-1值中CQFs的形状，但可以捕捉YT-1中的一些非线性。图6.1(B)显示了特殊类别2进一步允许YT-1中CQFs的非单调性，同时捕捉数据中的实体异构性，这是对给定YT-1的传统矩和二阶矩的更易操作的函数形式的再反映。与第1-2类相比，对于第3类，GT g*(Yt，yt-1)在yt1中是非线性的，通过导数函数对yt-1和yt-1的依赖关系，允许yt-1给定的yt-1的条件分布偏离高斯性。

图6.1(C)说明了特性3类捕捉ytgivenyt-1分布的不对称性的能力，以及这种分布在yt-1值之间的模式位置的变化，此外还考虑了CQF和异方差的非线性。图6.2-6.3显示了样条-样条特性4类中BIC最小的模型特性的分布回归函数。所选模型在所有规格类别1-4中具有最小的BIC，并以J=5的二次样条ins(Yt)和K=7的三次样条W(YT-1)为特征。这个参数化总共包括35个参数，其中25个参数经惩罚后估计为非零。这个精简的样条-样条模型能够同时捕获所有重要的1020304010 20 30 40昨天的温度条件分位数函数(a)CQF，对于u∈0.05,0.10,...,0.95}。1020304010 20 30 40昨天的温度条件分位数函数(1020304010 20 30 40昨天的温度条件分位数函数(b)CQF，对于u∈0.10,0.25,0.50,.0.75,0.90}。图6.2。未惩罚（左）和惩罚（右）CQF。上面描述的数据特征，包括Yt-1中的非线性和Yt条件分布的变化形状。特别地，对于图6.2中未惩罚的CQF，在滞后温度较高值时分位数的不均匀间距表明当前温度的条件PDF在该值时是双峰的。这些模式在6.3(B)中显示的未受惩罚的PDF中尤其明显，并且在图6.3(A)中相应的CDF中也被两个在射点所再现。图6.2-6.3的右面板显示了0.000.250.500.751.0010 20 30 40今天的温度条件累积分布函数0.000.250.500.751.0010 20 30 40今天的温度条件累积分布函数(a)条件CDF.0.00.10.210 20 30 40今天的温度条件密度函数0.00.10.210 20 30 40今天的温度条件密度函数(b)条件PDF的惩罚版本。无惩罚（左）和惩罚（右）条件PDF和具有约束带的CDF,对yt-1∈11.4,17.6,23.8,29.9,36.1}.分布回归函数。在这个例子中，经过惩罚的估计量得到了非常相似的结论，主要的结果是在高温的日子里稍微不明显的双峰性，以及在CQF边界上更严格的约束。总的来说，我们发现简约的高斯表示能够捕捉数据的复杂特征，如非单调性和具有不同形状的条件分布，同时提供分布回归函数及其约束带的完整估计。重要的是，相应的CQF估计被赋予了全数据支持下分位数的无交叉特性。在补充性材料中，我们评估了所选样条-样条模型的稳健性，并发现其主要特征在具有类似二值的特定条件下得到了良好的保留。因此，尽管在我们的上下文中建立BIC性质是未来研究的一个重要主题，但我们发现分布回归函数的GT回归估计在给定的特定类别内表现出令人放心的稳定性。结论：通过aGT e=g(Y，X)的规定，建立了分布回归模型，为一般感兴趣的统计对象，如条件分位数、密度和分布函数的全局估计提供了一个统一的框架。隐含凸规划公式易于实现，并允许稀疏模型的估计。所提出的GT回归模型的线性形式也构成了分布回归函数非参数估计的良好起点。

在这篇论文中，我们考虑了对我们最初的公式的一些扩展，如错误定义、多重结果和惩罚减限。我们的框架还可以通过适当地修改似然函数的形式，扩展到考虑离散型离散-连续混合分布的结果。在以后的工作中，我们将考虑的一个重要的进一步推广是将我们的结果推广到具有内生性回归的分布回归模型。附录A.给定X的Y的条件CDF的定理1的证明，对于所有y∈R,(A.1)Φ(bT(X，y))=pr[bT(X，y)≤bT(X，y)X]=pr[y≤yX]=FY X(yX),其中的第一个等式由e=bT(X，y)和eX（0,1）得出，第二个等式由y7→bT(X，y)按概率1严格递增，最后一个等式由FY X(yX)确定。对于条件PDF,在(A.1)中，通过对Y7→Φ(bT(X，y))和Y7→FY X(yX)的推导，得到了φ(bT(X，y)){bT(X，y)}=FY X(y，X)，y∈R，概率为1。对于CQF，(a.1)中的结果和Bothy7→bT(X，y)和E7→Φ(e)的严格单调性一起意味着Φ(bT(X，qyx(uX)))=u。因此，回想起E7→h(X,e）是Y7→bT(X,y）的逆，我们得到Qy X(u X)=h(X,Φ-1(u))，u∈(0,1）,概率为1。引理1。对于每个b∈θ,映射y7→Φ(bT(X，y))是严格递增的iny∈R,概率为1。证明了映射y7→Φ(bT(X，y))。我们注意到yΦ(bT(X，y))=φ(bT(X，y)){bT(X，y))}对于所有y∈R，且Y7→φ(bT(X，y)){bT(X，y)}连续，概率为1。因此，对于任意α，β∈R，α<β，通过微积分基本定理，Φ(bT(X，β))-Φ(bT(X，α))=βαφ(bT(X，α)){bT(X，y)}dy>0,b∈θ,概率为1，因为bT(X，y)>0和φ(e)>0,e∈R，这意味着y7→bT(X，y)在R上严格递增，概率为1。附录B.定理2-3和推论1b.1的证明。定义和符号。definnel(Y，X，b)§[log(2π)+(bT(X，Y))]+log(bT(X，Y))，b∈θ,andf(Y，X，b)φ(bT(X，Y)){bT(X，Y)}，b∈θ,注意Q(b)=e[l(Y，X，b)]=e[log f(Y，X，b)]，b∈θ。在附录b.2中，我们分别为定理2和定理3的证明建立了附录b.3和b.5中使用的Q(b)的主要性质。辅助引理。引理2。如果假设1成立，则E[L(Y,X,b)]<∞且Q(b)是连续的。证明。通过三角不等式，E[L(Y,X,b)]≤E[(bT(X,Y)))]+E[log(bT(X,Y))]+log(2π),E[(bT(X,Y))/2]由Cauchy-Schwartz不等式和Bye[T(X,Y)]<∞得到。对于第二项，在b=(b，0jk-1)，b>0附近应用均值展开式，得到一些中间值～b，log(bt(X，Y))=log(b)+(～bt(X，Y))-1[(b-b)t(X，Y)]≤log(b)+(～bt(X，Y))-1b-bt(X，Y)]<∞，因为我们有～bt(X，Y)>0，概率为1，且e[t(X，Y)]<∞。因此E[L(Y,X,b)]<∞。Q(b)的连续性是B7→L(Y,X,b）的连续性和优势收敛的基础。引理3。如果假设1成立，则Q(b)是任意紧子集θ_n_n_上的两次连续可重复的，且多bbe[L(Y,X,b)]=E[bbl(Y,X,b)]。证明。引理2，E[L(Y,X,b)]<∞。此外，对于b∈θ,对于某些常数C>0,则为：bl(Y,X,b)=-T(X,Y)(bT(X,Y))+(bT(X,Y))-1T(X,Y)≤T(X,Y)(bT(X,Y)+T(X,Y)，(b.1)。因此，在假设1下，E[T(X，Y)]<∞和E[T(X，Y)]<∞意味着E[supb∈θ_bl(Y，X，b)]<∞。inNewey和McFadden(1994)引理3.6表明，Q(b)是连续可迭代的inb，且迭代和积分的顺序可以互换。对于某些常数C>0,我们通过λbbl(Y,X,b)≤T(X,Y)+Ct(X,Y),得到E[T(X,Y)]<∞和E[T(X,Y)]<∞在假设1下暗示E[supb∈θbbl(Y,X,b)]<∞。

inNewey和McFadden(1994)引理3.6则暗示了在b中是连续di-erentiable，di-erentiable，di-erentiable，di-erentiable，infadden(1994)和McFadden(1994)是可以互换的。引理4。如果假设1成立，那么，对于任何紧子集θ=netθ，我们得到了对于b∈θ存在的-πBBQ(b)，且最小特征值在b∈θ中均有界于零之外。证明。引理3给出了Q(b)在θ上的两次连续可迭代，且迭代和积分的阶次可以互换。因此，在假设1下，对于所有的b∈θ,存在[bb{-q(b)}=γ+γ(b)，E[T(X，Y)T(X，Y)]，(b)E T(X，Y)T(X，Y)(bt(X，Y))。用λmin(A)表示amatrix A的最小特征值，从而得到Weyl单调性定理（如Horn and Johnson,2012的推论4.3.12）的结果，该定理暗示对于某个常数b>0,λmin(γ+γ(b))≥λmin(γ)≥b，b∈θ,而γ(b)对于所有b∈θ是正半项，且E[T(X，Y)T(X，Y)]的最小特征值离零有界。B.3.定理2.B.3.1的证明。独特性。我们证明了bi是Q(b)在θ中的最大值点。对于b6=b,b∈θ,通过E[log f(Y,X,b)]=E[log fY X(Y X)]和Jensen不等式，我们得到log f(Y,X,b)f(Y,X,b)=e-log f(Y,X,b)fY X(Y X)≥-log e f(Y,X,b)fY X(Y X)=-log e rf（Y,X,b)fY X(Y X)dy≥0,因为rf（Y,X,b)dy=limy→∞Φ(bT(X,Y))-limy→∞Φ(bT(X,Y))→limy→→∞Φ(bT(X,Y))∈(0,1]具有概率1,Y7→Φ(bT(X，Y))由引理1严格递增。因此，之二是一个最大点。引理4中的严格凹性则意味着Q(b)在θ中的每个紧子集中最多允许一个极大值，特别是在包含b的每个紧子集中最多允许一个极大值。因此，存在NOEB6=b，它使Q(b)在θ中最大，并使Q(b)在θ中唯一地最大。B.3.2.识别。对于b6=b,b∈θ,利用最大值点的唯一性，我们有E[log f(Y,X,b)]-E[log f(Y,X,b)]>0,这意味着f(Y,X,b)6=f(Y,X,b)=fY X(Y X）,从而证明了这一点。定理1证明了g(Y，X)和分布回归函数是b的已知函数。B.4.推论1的证明。接下来的证明是应用定理2和正文中的论点，使用e=bT(Y,X)XéN(0,1）。定理3.B.5.1的证明。B*存在的证明。我们证明了-q(b)的水平集bα={b∈θ:-q(b)≤α}，α∈R，是闭的有界的，因此是紧的，然后利用-q(b)在θ上连续的事实，这意味着存在一个极小值。这一步表明bα是有界的，给定b,b∈bα,设t=b-b,u=b-bb-b,使得u=1,b=b+tu。因此，通过对b的解析，对于某些b在连接频带的线上某个常数b>0,α≥-q(b)=-q(b+tu)=-q(b)-t全数bq(b)u-tu′bbq(b)u≥-q(b)-t全数bq(b)u+Bt≥-q(b)-t全数bq(b)+Bt，在t=0附近产生了t7→-q(b+tu)的二阶泰勒展开式，其中倒数第二个不等式后面是引理4。固定B∈Bα，上面的不等式意味着t是有界的，因此Bα是有界的。这一步表明bα是闭的，将θ的边界θ定义为θ={b∈Rjk:pr[bt(X，Y)=0]>0}。对于bt(X，Y)<0的b∈θ,我们采用对数屏障函数log(bt(X，Y))在该集合上取-∞值的假定（如Boyd and Vandenberghe，2004)第11.2.1节。考虑Bα中的无序(bn)，使得bn→éb∈θ为n→∞。下面的步骤2.1和2.2表明-q(bn)=e[-l(Y,X,bn)]→∞为n→∞,因此bα是闭合的。这一步表明E[limn→∞-L(Y,X,bn)]≤limn→∞E[-L(Y,X,bn)],当bα有界时，存在一个常数C>0，使得log(bt(X,Y))≤ct(Y,X))≤ct(Y,X)=[log(2π)+(bt(X,Y))]-log(bt(X,Y))≥-ct(X,Y)，b∈bα,概率为1。

因此，X,b)l(Y，X,b)+δ(Y，X)≥0，δ(Y，X)Ct(X，Y）,b∈bα，概率为1，其中E[δ(Y，在假设1下，X)]<∞。此外，通过对θ的认识，我们有limn→∞log(bnt(X),(Y))=-∞在（Y,X）具有正概率，因此(B.2)LiMn→∞-L(Y，X,bn)=[log(2π)+limn→∞{bnT(X,Y）}]-LiMn→∞log(bnt(X,Y))=∞,ongYX,由{bT(X),对于所有b∈RJK，Y)}/2≥0。设χgyx(Y,X)1{(Y，X)∈Gyx}和χGyxc(Y,X)1{(Y，X)∈GYXC}，用gyxcd表示gyx的补语，我们有[limn→∞,X,bn)]=E[χgyx(Y,X)LiMn→∞（Y,X,bn)]+E[χGYXC(Y,X)LiMn→∞（Y,X,bn)]=E[χgyx(Y,X)LiMn→∞-L(Y,X,bn)]+e[χgyx(Y,X)δ(Y，}]+e[χgyxc(Y,X)LiMn→∞-L(Y,X,bn)]+E[χGYXC(Y,X)δ(Y，X)]=E[LiMn→∞-L(Y,X,bn)]+E[δ(Y,(X)],(b.3)其中第二等式从limn→∞-l(Y,X,bn）和δ(Y，X）为ongYX的非负函数（例如，在Rana中提出的5.2.6(ii)，2002）,且δ(Y,X）和limn→∞-L(Y,X,bn)具有理想期望ongYXc,由于limn→∞bnt(X,Y)>0ongYXc和e[-L(Y,X,b)]<∞,由引理2。by（Y,X,bn）为非负,Fatou引理蕴涵(b.4)e[limn→∞（Y,X,bn）]≤limn→∞e[i(Y,X,bn）],其中(b.5)limn→∞e[i(Y,X,bn）]=limn→∞e[-L(Y,X,bn）]+e[δ(Y,X)],by[δ(Y,X,）]<∞和E[-L(Y,X,bn)]<∞,引理2对bn∈θ。因此，(b.6)e[limn→∞-L(Y,X,bn)]≤limn→∞e[-L(Y,X,bn)]接下来是(b.3)、(b.4)和(b.5)步骤2.2。这一步骤表明E[limn→∞-L(Y,X,bn)]=∞,因此Bα接近。(b.2)中的极限和fY X(Y,X)以概率1远离0的事实一起意味着E[χgyx(Y,X)limn→∞-L(Y,X,bn)]=∞,因此E[χgyx(Y,X)limn→∞(Y,X,bn)]=∞由E[δ(Y,X)]<∞。此外，E[χGyxC(Y,X)LiMn→∞-L(Y,X,bn)]<∞,并由E[δ(Y,X)]<∞得到[χGyxC(Y,X)LiMn→∞（Y,X,bn)]<∞。因此，E[limn→∞（Y,X,bn)]=∞,而(b.3)现在意味着E[limn→∞-L(Y,X,bn)]=∞。这一事实和界限(b.6)一起意味着E[-L(Y,X,bn)]=-q(bn)→∞为n→∞。我们建立了Bα中收敛序列(bn)的极限πb在θ中。通过-q(b)在θ上的连续性，我们得到了-q(éb)=limn→∞q(bn)≤α，因此，éb∈bα和bα是闭合的。步骤3。这一步结束。选择α∈R，使得Bα是非空的。从步骤1-2来看，Bα是由HeineBorel定理紧致的。由于Q(b)在bα上连续，根据Weierstrass定理，在bα中至少存在一个极小值-Q(b)。存在结果如下。B.5.2.B*唯一性的证明。在引理4b.5.3中，唯一性结果是q(b)的严格凹性。证明了G*(Y,X）,F*(Y,X）,Q*(u,X）和F*(Y,X）的唯一性。Foreb 6=b*,通过E[T(X，Y)T(X，Y)]的非奇性，我们得到[{(Eb-b*)T(X，Y)}]=(Eb-b*)e[T(X，Y)T(X，Y)](Eb-b*)>0，这意味着(Eb-b*)T(X，Y)6=0。因此，G*(Y，X)6=em(Y，X）对于em∈E，witheB6=b*,根据E7→Φ(E)的严格单调性，这也意味着Φ(Gut(Y，X))6=Φ(em(Y，X)),因此Fut(Y，X)6=EF(Y，X)foreF对eM6=G=。对于m∈E，leteYx(m){Y∈yx:fut(Y，X)6=Φ(m(Y，X))}，其中eyx表示Y的条件支持，给定X=X,andeUx(m){u∈(0，1):fut(Y，X)=u对于某些Y∈Eyx(m)}。概率一，由Y7→m(y，X）对于所有m∈E，复合y7→Φ(em(y，X))也是严格单调的，因此对于eq∈Q,em 6=g*,Q(Φ1(u)，X)6=eq(X，Φ1(u))，u∈eux(em))。最后，由于b=是Q(b)在θ中的唯一极大值，我们得到了[log f(y，X)]>E[log(φ(em(y，X))){yem(y，X)}]对于em∈E witheb 6=b,hencef,(y，X)6=ef(y，X)foref,D,em 6=g*。附录C定理4的证明C.1.辅助引理。引理5。如果边界条件（3.2）对所有b∈θ均成立，且概率为1，则集合θ和D等价。

回想一下，如果两个集合A和B之间存在一对一的对应关系，即如果存在某种函数:A→B是一对一的，那么这两个集合A和B是等价的。然后这两个集合具有相同的基数(Dudley，2002)。我们注意到，由于E[T(X，Y)T(X，Y)]的非奇性，这两个集合θ和E是等价的。因此证明E和D是等价的。对于每一个f∈D，m∈E，和(y，x)∈YX，我们定义(\\(f))(y，x)§Φ-1y-∞f(t，x）DT，(ρ(m))(y，x)yΦ(m(y),x））时，我们将验证：D→F和ψ：F→D，然后证明了“i”和“φ”是彼此的反函数，从而证明了“i”是一对一的，微积分的基本定理，和边界条件(3.2)，我们有(|(f))(y，X)=Φ-1y-∞φ(T(X,v)b){bt(X，}dV=Φ-1Φ(T(X),y)b)-limα→-∞Φ(T(X,α)b)=T(X,(y)对于某些b∈θ和所有y∈y，因此T(X),Y)b∈E。因此：D→E，通过对m∈E的认识，我们有(ρ(m))(y，X)=yΦ(T(X,y)b)=φ(T(X),y）b）{t(X，y)b}，y∈y，对于某些b∈θ,因此φ(T(X，y)b){T(X，y)b}∈D。因此:E→D.由此得出结论：对于所有y∈y，y，φ(θ(f)))(y，X)=yΦ1y-∞f(T,X)dt=y y-∞f(T,X)dt=f(y,X)；对于所有y∈y，y，y，y，y，y，y，y，y，y，y，y，y(y，X)=φ1y-∞yΦ(m，T，X))dt=y(y，X)，y(y，X)，y(y，X)，y(y，X)，y(y，X)，y(y，X)，φ是（？）的反函数，结果如下。C.2.定理4的证明。由定理3,b*=arg maxb∈θe[log(φ(T(X),Y）b）{t(X，Y）b}）]。因此，f(Y，X)=φ(T(X,Y）b）{t(X，对于每个b∈θ,而θ和D由引理5等价这一事实，共同暗示了f=是E[log f(Y,X)]在D中的最大值的良好定义点，并且hencef=arg maxf∈de[log f(Y,X)]=arg minf∈d-e[log f(Y,X)]=arg minf∈de log fy X(Y,X)f(Y,X)(Y,X)。(c.1)此外，通过边界条件(3.2)，对于概率为1的b∈θ,每个f∈D满足(c2)rf(Y,X)dy=limy→∞Φ(bT(X,Y))-limy→∞Φ(bT(X,Y))→∞Φ(bT(X,Y))=1因此，(c.1)意味着F*(Y),X）是D.by f*(Y)中与fY X(Y，X)最接近的概率分布，X)=Φ(g*(Y),X))和F*(Y，X)=φ(g*(Y,X)){yg*(Y,X)}，我们有yf*(Y,X)=φ(g*(Y,X)){yg*(Y,X)}=f*(Y,X)。由于y7→f*(Y,X)是连续的，我们通过微积分的基本定理得到了对于ally∈R的f*(Y,X)=y-∞f*(t,X)dt,其中limy→-∞f*(Y,X)=0和limy→∞f*(Y,X)=1,通过f*(Y,X)和(c.2),我们得到了f*(Y,X)>0,通过引理1得到了y7→f*(Y,X)>0 F*(Y,X）严格递增，概率为1。因此，利用Y7→F*(y,X）的连续可犯性和反函数定理，给出了Y7→F*(y,X）的反函数U7→Q*(X,u）,其中Q*(X,u）u=F*(Q*(X,u）,X)>0,u∈(0,1）,概率为1。附录D.渐近理论。定理5的证明。（一）-（二）部分。我们验证了Newey和McFadden(1994)中定理2.7的条件。由定理3证明了b*∈θ是Q(b)的唯一极小元，并证明了它们的条件(i)。由定理3中建立的凸性和开性，证明了定理3中建立的b*∈θ的存在性和Qn(b)的凹性，从而证明了它们的条件(ii)是成立的。最后，由于样本是I.I.D.通过假设3(i)，从Q(b)有界（在定理2的证明中建立）和Khinchine大数定律的应用出发，Qn(b)逐点收敛到Q(b)。由此，充分证明了Newey和McFadden定理2.7的所有条件。因此，存在概率接近1的B∈θ和B→Pb*。第㈡部分。例如，从Newey和McFadden(1994)中定理3.1的假设得到了渐近正态性结果N1/2(b-b*)→dn(0,γ-1(γ-1))。由定理3证明B*在θ的内部，从而证明了它们的条件(i)。条件(ii)经检查成立。

对于它们的条件(iv)，我们将Newey和McFadden(1994)中的引理2.4应用于A(Y,X,b)bbl(Y,X,b)=0,存在γ和Lindberg-Levy中心极限定理。设θ表示θ的一个紧子集，其内部包含B*。通过引理3的证明，我们得到了E[supb∈θ_bbl(Y,X,b)]<∞。此外，通过假设3(i),数据是i.i.D.,且通过检验，Δbbl(Y,X,b)在每个b∈θ处是连续的。证明了Newey和McFadden(1994)引理2.4的条件，从而证明了定理3.1中引理2.4的条件(iv)。最后，引理4证明了它们的条件(v)。我们验证了Newey和McFadden(1994年，第2158页底部）在讨论定理4.4时给出的条件，从而证明了γ-1ργ-1→Pγ-1ρ-1，首先，通过定理5我们得到了Bb→Pb*。其次，在概率为1的情况下，通过检验对数f(Y，X，b)是两次连续可测的，且f(Y，X，b)>0,引理4证明了γ的存在性和非奇异性。从而验证了Newey和McFadden(1994)中定理3.3的条件(ii)和(iv)。第三，假设1和3(ii)，θ(Y,X,b)=-T(X,Y)(bT(X,Y))+(bT(X,Y))-1T(X,Y)≤2T(X,Y)(bT(X,Y))+2(bT(X,Y))-1T(X,Y)≤ct(X,Y)+T(X,Y)，使得E[supθ∈θθ(Y,X,b)]<∞。因此，对于b*的八个borhood N，我们有E[supb∈Nρ(Y,X,b)]<∞。此外，B7→φ(Y,X,b）在b*处连续，概率为1。结果如下。D.2.定理6的证明。该证明建立在Zou（2006）和Lu,Goldberg和Fine(2012)中的证明策略基础上。defunneddn(u)Qn(b*+n-1/2u)-Qn(b*)，其中u被b=b*+n-1/2u所取代。设bun=arg maxuDn(u)，则bun=√n(Bbal-b*)。通过一个均值展开式，对于某些中间值b,Dn(u)=n-nxi=1ψ（yi,xi,b*)u+(2n)-1u(nxi=1íbψ（yi,xi,b))u+n-λnjkxl=1bwln(butl-b*l+n-ul)D(1)n(u)+D(2)n(u)+D(3)n(u)。在假设1-3下，利用定理5和大数定律的结果，得到了D(1)n(u)→dn(0,uu)和D(2)n(u)→pu~nu。ForD(3)n(u),Zou（2006,定理2的证明）表明:n-λnbwln(butl-butl+n-ul)→P0,Butl6=00,Butl=0,Ul=0-∞,Butl=0,Ul6=0。因此，对于每一个u,whereD(u)=(Uaàaua+uAW,Ul=0,l/∈A,-∞,否则Wín(0,A)。此外，类似于Lu、Goldberg和Fine(2012,定理2的证明）的步骤，通过定理5(ii)证明了当Butl6=0时BWL→P1/Butl，当Butl=0时N1/2BBL=Op(1)，BUN→PBU，并通过引理4证明了Hessianmatrixγ是负的事实。这就产生了部分(ii)，即N1/2(BBA-b*a)→dn(0,γ-1aaγ-1a)。类似于Lu、Goldberg和Fine(2012，定理的证明）的步骤也表明，当用Qn(b)代替它们的目标函数时，PR[Bbac=0]→1，这建立了部分(i)。D.3.定理7的证明。由定理5和6我们得到了n1/2(BB_8~-B_*)→dN(0,态）,假设态为态，态为态为态，态为态为态，态为态为态，态为态为态，态为态为态，态为态为态，态为态，态为态，态为态。对于(y，x)∈YX，B7→Φ(bT(x，y))F(y，x，b)和B7→F(y，x，b)是连续的，导数函数分别为:bf(y，x，b)=φ(bT(x，y))T(x，y)和:bf(y，x，b)=-{bT(x，y)}φ(bT(x，y)){bT(x，y))}T(x，y)+φ(bT(x，y))T(x，y)=φ(bT(x，y))[-{bT(x，y)}{bT(x，y)}T(x，y)+T(x，y)]。正常的PDF格式。对所有人（y,x)∈YX与f(y，x,b)>0，b∈θ，我们有y7→F(y，x,b）是可逆的，其反函数u7→f-1(u,x,b）以导数1/f(f-1(u)连续可直流电位，x,b）,x,b）对allx∈X和u∈Ux(m),m(y，x,b)bT(x，y）,通过反函数定理。因此，通过f-1(Φ(bT(x),(y))，x,b)=y，我们有（y,x)∈YX,[x，b]=φ(bT(x，y))，x，b)=φ(bT(x，y))f(f-1(u，x，b)，x，b)T(x，y)+[bf-1(u，x，b)=0,其中在θ上可连续二次加热。

在定理7的陈述中的(i)和(ii)部分随后应用了Delta方法（例如，Wooldridge中的引理3.9，2010)。附录E.二重性理论。辅助引理。在本节中，我们对i∈{1,...,n}分别写出tiàT(yi,xi）和tiàT(yi,xi）。本文给出了定理8和引理6的证明结果。如果{（yi,xi）}ni=1是I.I.D.且E[T(X，Y)T(X，Y)]是非奇异的，则npni=1titi是非奇异的，概率接近1。证明。我们注意到，如果对于所有λ6=0我们有λ(Pni=1titi)λ=Pni=1(λti)>0，因此如果，对于某些i∈{1,...,n}，对于所有λ6=0我们有λti6=0。通过E[T(X,Y)T(X,Y)]的非奇性，对于所有λ6=0我们有λT(X,Y)6=0在pr[gYX]>0。因此，对于{（yi,xi）}ni=1i.i.d.,pr[TMi∈{1,...,n}{（yi,xi)/∈gYX}]=nyi=1pr[(yi,xi)/∈gYX]=nyi=1(1-pr[gYX])=(1-pr[gYX])n→0,作为n→∞。由于对某些i∈{1,....,n},事件Ⅷi∈{1,....,n},{（yi,xi)/∈gYX}的补码是事件{（yi,xi)∈gYX,因此我们得到对某些i∈{1,...,n}]=1-(1-pr[gYX])n→1，即n→∞。现在的结果来自对GYX的认识。E.2.定理8的证明。（一）部分。设r-(-∞,0）,r+(0,+∞)。引入变量ei=bTi,ηi=bTi,GT回归问题的等价公式为max(b，e，η)∈θ×rn×rn+nκ-nxi=1ei-log(ηi),κ-log(2π),条件为ei=bTi,ηi=bTi,i∈{1,.....n}。对于所有(u，v)∈RN×RN-,对该问题的拉格朗日函数进行解析asL(b),e,η，u,v)=nκ-nxi=1ei-log(ηi)+nxi=1ui{ei-bti}+nxi=1vi{ηi-bti}和拉格朗日对偶函数（Boyd and Vandenberghe(2004),第5章）助理秘书长(u，v)sup(b,e,η)∈θ×Rn×Rn+L(b，e,η，u,v)=sup(e,η)∈Rn×Rn+Nxi=1uie+viηi-nκ+ei-log(ηi)+supb∈θ(-nxi=1ui(bTi)-nxi=1vi(bTi)))i+i.为了导出g(u,v)，我们证明了对于所有(u,v)∈Rn×Rn-映射(b，e,η)7→L(b，e,η,u,v）的最大值是唯一的，然后求出(b，e,η)7→L(b，e,η,u,v）在这个值处的值。对偶函数g(u,v）中的项ii是凸共轭的负似然函数的一个函数，被定义为n向量e和η的函数。定义（e,η,u,v)§nxi=1{uiei+viηi}-nxi=1L(ei,ηi）,L(ei,ηi)§-nκ+ei-log(ηi).我们证明，对于所有(u,v)∈Rn×Rn-，映射（e,η)7→D(e，η,u,v）在Rn×Rn+中至少允许一个极大值。对于i∈{1,...,n}，n阶条件为eid(e,η,u,v)=ui-nxi=1 eil(ei,ηi)=ui-nxi=0ηid(e,η,u,v)=vi+ηi=0,当解ei和ηi时，我们得到ei=ui,ηi=-vi，i∈{1,...,n}。显然，对于所有的(u,v)∈rn×rn-都存在（e,η)∈rn×rn+，使得n阶条件成立。我们现在证明，对于所有的(u,v)∈rn×rn-，映射（e,v)∈rn×rn-，映射（e,v)=rn×rn-，映射）,η)7→D(e,η,u,v）在Rn×Rn+中最多允许一个极大值。对于i∈{1,...,n},二阶条件为Ei,eiD(e,η,u,v)=-1,Ei,ηid(e,η,u,v)=0ηi,eiD(e,η,u,v)=0,ηi,ηid(e,η,u,v)=-ηi,因此(e,η)7→D(e,η,u,v）的Hessian矩阵对于所有(u,v)∈Rn×Rn-是负的。因此，(e，η)7→D(e，η，u，v)是严格凹的，对于所有(u，v)∈Rn×Rn-，具有唯一的极大值(ei，ηi)=(ui，-1/Vi)，i∈{1,...,n}。求(e，η)7→d(e，η，u，v)，对于所有(u，v)∈rn×rn-，sup(e，η)∈rn×rn+d(e，η，u，v)=nxi=1ui+nxi=1vi-vi-nxi=1-κ+ui-log-vi=-n(1-κ)+nxi=1ui-log-vi=-n(1-κ)+nxi=1ui-log-vi)，(e.1)负对数似然的共轭函数。我们现在考虑对偶函数g(u，v)的第二项。对于所有（b,u,v)∈θ×rn×rn-,求罚函数P(b,u,v)=nxi=1{-ui(bTi)-vi(bTi)},映射B7→P(b,u,v)是线性的偏导数-pni=1{uiti+viti}。因此，supb∈θp(b，u，v)的值由所有(u，v)∈rn×rn-的集合决定，即(e.2)πbp(b，u，v)=-nxi=1{uiti+viti}=0,hold。