|
联合概率分布集P由一个参数θ表示,并允许边际密度P(Zi;θ)具有相同的支配度量(例如Lebesgue)。然后,最大似然估计量(MLE)最小化Xni=1- lnp(Zi;θ)。此估计器bθsolvesXni=1-pZi;bθθ。pZi;bθ= 在通常的正则条件下,bθ是一致的,渐近正态的,并且在正则估计类中是有效的。M的一个常见选择是具有对称厚尾密度的分布集。众所周知,如果观察到异常值的概率ε(从M中提取的样本)存在,则在高斯分布(从P中提取的样本)下得出的优化程序将失效。Huber(1964)提出了M估计。为了给出稳健M估计的具体示例,考虑回归模型Yi=Xiθ+Ui,其中我们观察到Zi=(Yi,Xi),但没有观察到零平均正态误差Ui。MLEbθ最小化Xni=1易- Xiθ,满意度xni=1Xi易- Xibθ= 更一般地,M-估计量bθ最小化xni=1ρ易- Xiθ,满足度xni=1Xiψ易- Xibθ= 0用于选择函数ρ和ψ。在上述极大似然估计的情况下,ρ(u)=u,ψ(u)=u。如果M-估计量bθ最小化Pε中分布的最大渐近方差,则称其为一类估计量中的渐近极大极小最优。与函数ρk(u)=(u/2 if | u |相关的M-估计量≤ kk | u |- 如果| u |>kandψk(u)=max,则为u/2{-k、 对于模型污染,min(k,u)}(3.2)是渐近极大极小最优的。常数k取决于(3.1)中的偏差ε。Asε→ 0,截断参数k→ ∞. 由于模型偏差较小,M估计量接近MLE估计量。如果ε→ 1,参数k→ 由于约束任意大,M估计量接近最小绝对偏差(LAD)估计量。稳健程序的第二个例子是假设检验。
|