最大似然估计的渐近正态性及其运算

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Asyptotic Normality for Maximum Likelihood Estimation and Operational
  Risk》
---
作者：
Paul Larsen
---
最新提交年份：
2016
---
英文摘要：
  Operational risk models commonly employ maximum likelihood estimation (MLE) to fit loss data to heavy-tailed distributions. Yet several desirable properties of MLE (e.g. asymptotic normality) are generally valid only for large sample-sizes, a situation rarely encountered in operational risk. In this paper, we study how asymptotic normality does--or does not--hold for common severity distributions in operational risk models. We then apply these results to evaluate errors caused by failure of asymptotic normality in constructing confidence intervals around the MLE fitted parameters.
---
中文摘要：
操作风险模型通常采用最大似然估计（MLE）将损失数据拟合为重尾分布。然而，最大似然估计的几个理想性质（如渐近正态性）通常只适用于大样本量，这种情况在操作风险中很少遇到。在本文中，我们研究了操作风险模型中常见严重性分布的渐近正态性是如何成立的。然后，我们应用这些结果来评估由于在MLE拟合参数周围构造置信区间时出现渐近正态性故障而导致的误差。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Risk Management        风险管理
分类描述：Measurement and management of financial risks in trading, banking, insurance, corporate and other applications
衡量和管理贸易、银行、保险、企业和其他应用中的金融风险
--
一级分类：Statistics        统计学
二级分类：Applications        应用程序
分类描述：Biology, Education, Epidemiology, Engineering, Environmental Sciences, Medical, Physical Sciences, Quality Control, Social Sciences
生物学，教育学，流行病学，工程学，环境科学，医学，物理科学，质量控制，社会科学
--

---
PDF下载：
--> Asyptotic_Normality_for_Maximum_Likelihood_Estimation_and_Operational_Risk.pdf (3.25 MB)

2022-5-8 22:12:03 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：最大似然估计 最大似然 似然估计 distribution Applications

小样本情况下的操作风险模型和渐近正态性。导言12。OpVaR，极大似然估计的渐近正态性和重尾分布32.1。MLE 32.2的渐近正态性。重尾分布53。OpVaR严重性分布的渐近正态性103.1。渐近正态性的图形检验113.2。渐近正态性的数值检验113.3。近似参数置信区间154。结论175。利益声明和确认18参考文献18摘要。操作风险模型通常采用最大似然估计（MLE）将损失数据拟合为重尾分布。然而，MLE的几个理想性质（如渐近正态性）通常仅适用于大样本量，这种情况在操作风险中很少遇到。在本文中，我们研究了在操作风险模型中，渐近正态性对公度分布的影响。然后，我们将这些结果应用于评估因围绕MLE确定的参数构造置信区间时的渐近正态性失效而导致的误差。1.简介最大似然估计（MLE）是一种——如果不是的话——在操作风险模型中拟合参数分布的标准方法[AMA Group，2013]。它的广泛使用在很大程度上是由于随着损失数据样本量的增加而保持不变的特性，即最大似然估计是一致的、渐近正态的、渐近有效的估计量。我们在这里关注第二个属性，极大似然估计的渐近正态性，以及这个属性如何与操作值矩阵（OpVaR）模型相关。

非正式地说，最大似然估计的渐近正态性意味着，随着样本量趋于一致，估计的参数将围绕真实参数正态分布，方差将变为零（更多细节将在第2节开始）。然而，在运营风险中，很难证明样本量接近真实值的假设是合理的，因为资本估计是由大型和罕见的损失事件驱动的，电子邮件地址：paul。larsen@maths.oxfordalumni.org.Date：2016年8月26日。2操作风险模型和渐近正态性我们将渐近正态性的渐近性质作为VaR模型关注的基础。[Embrechts et al.，1997]第318页总结了这种情况：“尽管我们有可靠的数值程序来确定MLE…，但我们对其性质不太确定，尤其是在小样本情况下。”由于开发独立OpVaR模型的压力，MLE估计的小样本量挑战更加严峻。一些地方监管机构没有计算给定银行所有法人实体的单一OpVaR，然后将该资本分配给法人实体，而是要求在给定法人实体（或一个国家的实体集群）的层面上计算OpVaR模型。因此，通过有效地将一家银行及其损失数据分割成更小的部分，将厚尾分布分配到一家银行中相对较少的高损失的问题变得更加严重。在这两篇论文的第一篇中，我们研究了OR建模常见的重尾分布的渐近正态性是如何成立的，以及这对OR建模意味着什么。

具体而言，我们（1）进行正态性的图形和数字测试（第3.1节和第3.2节），（2）评估参数设定置信区间的正态近似值（第3.3节）。第二点是使用渐近正态性来确定参数估计的置信区间。这些置信区间用于拟合尾部分布时的拟合度测试。当然，只有当参数误差按渐近正态分布时，这些估计才可靠。在第二篇论文[Larsen，2016]中，我们研究了MLE误差如何转化为OpVaR模型的稳定性（或缺乏稳定性）。虽然本文主要关注操作风险，但估计重尾分布的最大似然拟合所产生的误差的问题要普遍得多。我们考虑的重尾分布（帕累托分布、威布尔分布、对数正态分布、对数逻辑分布和第二类广义贝塔分布）出现在除运营风险外的许多其他环境中，如数据网络、市场模型和保险[Resnick，2007]。实际上，这里所考虑的OpVaR模型通常被称为“精算方法”，其特点是分别对损失的频率和严重程度进行建模。将理论问题与实践联系起来需要有代表性的损失数据。我们使用了最近ORX协会OpVaR稳定性研究中的损失数据，在该研究中，参与者获得了12个计量单位（UOM）的损失数据集，包括来自成员银行的匿名损失数据。本文选择了四个计量单位，涵盖了一系列损失报告。

出于空间考虑，此处仅给出了一个计量单位（UOM1）的分析结果，该计量单位和其他三个计量单位的完整结果在单独的附录中给出[Larsen，2015]。主要发现我们现在总结一下我们的主要发现在第2节中，我们介绍了帕累托分布、威布尔分布、对数正态分布、对数logistic分布和GB2分布的渐近正态性理论，并说明了渐近正态性的典型假设即使不是不可能，也很难验证这些严重性分布在第3.1节中，我们通过模拟MLE参数（参数自举）以图形方式测试小样本的渐近正态性。这些测试显示Weibull和GB2分布的结果较差，而操作风险模型和渐近正态性3帕累托分布、对数正态分布和对数对数对数逻辑分布似乎显示渐近正态性，即使样本量较小第3.2节研究了渐近正态性的数值试验，由此产生的p值表明对数正态分布是唯一一个未完全拒绝正态性假设的分布尽管从图形和数字上可以看出偏离正态性，但渐近正态性为帕累托分布、对数正态分布和对数logistic分布的置信区间提供了非常好的近似值（第3.3节）。威布尔分布和GB2分布的性能相当差。使用渐近正态性估计MLE误差在实践中很常见，在[Frachot et al.，2004，Cope et al.，2009]中也用于估计参数置信区间。[Piacenza和Sordi，2014]中提到了这种近似的可能缺点。在本节结束时，我们将提到几个技术要点。对于下面考虑的概率分布，不同的来源给出了不同的参数名称，有时分布函数本身因来源而异。

我们在下一节中给出了精确的定义，并且通常遵循下面用于我们分析的R包中的参数命名约定。统计分析、图形和排版都是通过统计软件R完成的[R Core Team，2014]。基础设置中的R包之外的R包是FitDistripPlus[Delignette Muller等人，2013年]、GB2[Graf and Nedyalkova，2014年]、ggplot2[Wickham，2009年]、neldermead[Bihorel and Baudin，2014年]、VGAM[Yee，2014年]、MVN[Korkmaz等人，2014年]和Swave[Leisch，2002年，2003年]。OpVaR，极大似然估计的渐近正态性和重尾分布2。1.极大似然估计的渐近正态性。非正式地说，MLE的渐近正态性表明，拟合参数对数据的分布将是正态分布的，以真实参数为中心，具有一个取决于样本大小的规定协方差矩阵。设X=（X，…，xn）是概率密度函数（PDF）f（X |θ）的基础分布的数据*), θ在哪里*是真实的参数。然后，为了检验这种分布的渐近正态性是否成立，我们需要检验当n增加时，MLE是否产生正态分布的固定参数bθ。这个特性可以用参数自举法测试，也就是说，对于固定的n，我们从真实分布f（x |θ）中采样n个数据点*), 并应用最大似然估计得到bθ1，n。我们重复这个样本/拟合过程m次，以获得拟合参数（bθ1，n，…，bθm，n），即我们已经为样本大小为n的最大似然估计参数生成了统计数据。在给出最大似然估计的渐近正态性的精确陈述之前，我们先对其证明所需的正则性假设进行了计时。将分布的对数似然函数定义为`（x |θ）=对数f（x |θ）。

符号Eθ*[g（x|θ）]对于函数g（x|θ）意味着seθ*[g（x |θ）]=Zg（u |θ*)f（u |θ）*)杜。通常的正则性条件是[Cox and Hinkley，1979，Greene，2011]4操作风险模型和渐近正态性（1）`（x |θ）关于θ的前三个偏导数对于几乎所有x和θ邻域中的所有θ都是连续和有限的*.（2） 对于所有θj，i=1，2，Eθ*i`（x |θ）（θj）i< ∞.（3） 存在一个分布函数M（x），使得k`（x |θ）θkk<M（x）对于θ邻域中的所有θ*, 和Eθ*[M（x））]∞.k参数分布的Fisher信息矩阵是k×k矩阵，其（i，j）项为（i（θ）*))i、 j=Eθ*θi`（x |θ）θj`（x |θ）给定上述正则条件，Fisher信息矩阵允许以下更简单的描述：（2.1）（I（θ）*))i、 j=-Eθ*θiθj`（x |θ）渐近正态性的另一个要求是可识别性（在讨论最大似然估计的一致性时，通常会引用这一要求，即随着样本大小的增加，估计参数在概率上收敛于真实参数）。非正式地说，如果参数θ唯一地决定了分布（即没有两个不同的参数值产生相同的分布），则参数分布族是可识别的。更准确地说，如果对于任何θ6=θ，对于某些n存在X=（X，…，xn），则分布族是可识别的，例如f（X |θ）6=f（X |θ）。证明可识别性可能具有挑战性，但如果f（x |θ）的矩有一种相同的形式，一种策略如下：假设θ6=θ，且x~ f（x |θ），x~ f（x |θ）。

如果进一步存在k∈ N使得E[Xk]6=E[X0k]，那么就可以得出存在非零测度的参数空间U的子集，使得对于所有x，f（x |θ）6=f（x |θ）∈ U、 因此，分布家族是可识别的。进一步的要求是Fisher信息矩阵在θ的邻域中是非奇异的*. 由于费舍尔信息矩阵可以被解释为参数空间上的一个度量，因此对该条件何时失效的研究导致了统计学习理论和几何之间的重新关联。渡边淳雄和其他人的工作发展了一种理论，通过从代数几何中解析奇异性，在奇异Fisher信息矩阵的情况下重建了极大似然估计的许多理想性质[Watanabe，2009，渡边，2013]。保持渐近正态性的最终要求是，必须正确指定模型：如果将最大似然估计应用于一个参数分布，以拟合来自不同分布的数据，那么吸引“真实”参数的结果当然会受到怀疑。定理2.1（极大似然估计的渐近正态性）。在上述条件下，theMLEbθ是渐近正态的：√n（bθ）- θ*)D→ N（0，I（θ）*)-1） ，即分布上的趋同。操作风险模型和渐近正态性定理的5A证明可在[Wald，1943]中找到；草图证明更为丰富（参见[Cox and Hinkley，1979]）。我们主要关心的是这个结果的渐近性质。关于有限样本量可能出现的问题，考虑数据（x，…，xn）独立于正态分布N（u，σ）进行采样。

然后MLE产生方差^σ=1/nPni（xi）的估计值- ^u），该定理给出了Fisher信息矩阵的自然解释，该矩阵非正式地编码了每个参数方向中包含的关于分布的多少信息。为了简单起见，假设Fisher信息是对角的。然后，在定理2.1中，Fisher信息矩阵中的大条目（高水平信息）对应于MLE参数估计的小变化。事实上，在数值求解中估计最大似然方差的标准方法是在最佳参数下计算Fisher信息矩阵，并将其转化为定理2.1。作为推论，这种方差估计通常仅在定理2.1适用的情况下有效，尤其是在大样本量的假设下。上述高阶正则性条件在实践中很难检验，并且缺乏明显的统计解释。定理2.1的条件可能不满足，但渐近正态性仍然成立[Le Cam，1970，Smith，1985]。此外，如果Fisher信息矩阵是奇异的（且与行列式0不相同），那么奇异的参数集在参数空间中至少是一个共维的（这是det I（θ）=0的解集）。因此，对于几乎所有的参数θ，Fisher信息矩阵都是非奇异的。因此，在将MLE应用于第二类广义贝塔分布（如下一节所述）时，需要特别小心，因为关于Fisher信息矩阵的假设很难验证。桥接理论和实践的另一个挑战是，对于除少数分布以外的所有分布，用于确定最佳参数的算法都是数值的，并且可能只产生对数似然函数的局部最大值。

当我们在下面描述所考虑的严重性分布时，我们还将概述MLE中使用的算法及其潜在缺点。2.2. 重尾分布。OpVaR模型中使用的严重性分布通常是重尾分布。我们将重尾定义为次指数（定义见下文），但文献中存在其他几种定义。为了方便读者，我们还概述了其他常见的定义，并在可能的情况下将它们相互关联。定义2.2。设F是一个累积分布函数，其支持度为（0，∞).那么F是次指数的，如果，对于所有n≥ 2，limx→∞Fn*（x） F（x）=n，其中F（x）=1- F（x）是尾函数，或生存函数，极限中的分子是F（x）的n倍卷积。次指数分布展示了重尾分布在总损失水平上的一个一般特性，即最大值的尾部决定了总和的尾部。这里考虑的所有分布都是6个操作风险模型和渐近正态次指数分布（对于Weibull分布，当形状参数小于1时，这一点成立；见下文第2.2.2节）。次指数性意味着另一个有时被视为重尾函数定义的性质，即尾部的衰减速度比任何指数函数都慢。使用上面的符号，精确的公式是 > 0，limx→∞Ex\'F（x）=∞.参见[Embrechts et al.，1997]，引理1.3.5（b），了解次指数分布函数满足上述极限的证明。次指数分布的一个重要子类由规则变化的函数组成：定义2.3。