简单有限混合模型的精确拟合

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Exact fit of simple finite mixture models》
---
作者：
Dirk Tasche
---
最新提交年份：
2014
---
英文摘要：
  How to forecast next year\'s portfolio-wide credit default rate based on last year\'s default observations and the current score distribution? A classical approach to this problem consists of fitting a mixture of the conditional score distributions observed last year to the current score distribution. This is a special (simple) case of a finite mixture model where the mixture components are fixed and only the weights of the components are estimated. The optimum weights provide a forecast of next year\'s portfolio-wide default rate. We point out that the maximum-likelihood (ML) approach to fitting the mixture distribution not only gives an optimum but even an exact fit if we allow the mixture components to vary but keep their density ratio fix. From this observation we can conclude that the standard default rate forecast based on last year\'s conditional default rates will always be located between last year\'s portfolio-wide default rate and the ML forecast for next year. As an application example, then cost quantification is discussed. We also discuss how the mixture model based estimation methods can be used to forecast total loss. This involves the reinterpretation of an individual classification problem as a collective quantification problem.
---
中文摘要：
如何根据去年的违约观察和当前的分数分布预测明年的投资组合范围内的信用违约率？解决这个问题的经典方法是将去年观察到的条件分数分布与当前分数分布进行混合拟合。这是有限混合模型的一个特殊（简单）情况，其中混合组分是固定的，只估计组分的权重。最佳权重可以预测明年整个投资组合的违约率。我们指出，如果我们允许混合物成分变化，但保持其密度比不变，那么拟合混合物分布的最大似然（ML）方法不仅给出了最佳拟合，甚至给出了精确拟合。根据这一观察，我们可以得出结论，基于去年条件违约率的标准违约率预测将始终位于去年投资组合范围内的违约率和明年的ML预测之间。作为一个应用实例，讨论了成本量化。我们还讨论了如何使用基于混合模型的估计方法来预测总损失。这涉及将单个分类问题重新解释为集体量化问题。
---
分类信息：

一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--
一级分类：Quantitative Finance        数量金融学
二级分类：Risk Management        风险管理
分类描述：Measurement and management of financial risks in trading, banking, insurance, corporate and other applications
衡量和管理贸易、银行、保险、企业和其他应用中的金融风险
--

---
PDF下载：
--> Exact_fit_of_simple_finite_mixture_models.pdf (345.42 KB)

2022-5-6 08:40:05 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：混合模型 distribution observations Quantitative Applications

这意味着hi=gi，i=1，k、 utRemark 1。如果（1）左侧的KL距离已明确，且所有（p，…，pk）的KL距离均已确定-1) ∈ Sk-然后在定理1b）的假设下，有一个*, . . . , P*K-1) ∈ Sk-1使g和pki的KL距离=1p*这是最低限度的。此外，根据定理1a），密度gisuch等于g的KL距离，pki=1p*IGIS为零——这是本说明标题中提到的简单混合物模型的确切特性。utRemark 2。a） 定理1b）为（6）的解的唯一性提供了一个简单的条件。在k=2的情况下，该条件简化了toP[X=1]<1。（8a）对于k>2，在Sk中不存在解的类似简单条件-1.然而，如[14]所述（例4.3.1），在k=2:E[X]>1和E的情况下，存在解inS=（0,1）到（6）的简单必要和有效条件十、-1.> 1.（8b）b）假设我们在定理1 a）的设置中，k>2，所有Xi>0。因此有u-密度g，gk，（p，…，pk）-1) ∈ Sk-1，pk=1-主键-1i=1i表示g=Pki=1pi，Xi=gigk，i=1，k、 Letg=Pkj=2pjgj1-p、 然后我们得到了g的另一个分解，即g=pg+（1）- p） g和p∈ (0, 1). 定理1b）的证明表明，当X=gg时，这意味着0=Zg（X- 1） 1+p（X）- 1） du。（9） a）有一个解决方案p∈ （0,1）到（9）当且仅当E[X]>1和[十）-1.> 1.c）如a）所述，应用定理1的一个有趣问题是如何确定Sk中（6）是否存在解-1对于k>2。[9]和[11]中建议的迭代将正确地收敛到Sk边界上的一个点-1如果内部没有解（文献[9]中的定理2]）。

但收敛速度可能非常慢，以至于可能无法确定极限的一个分量是零（因此解在边界上）还是真的很小但为正。用于确定由（3）定义的F最大值的直接牛顿-拉夫森方法可能收敛更快，但对于接近或位于Sk边界的解也可能变得不稳定-1.然而，在k>2的情况下，在b）中进行的观察表明，如果初始值（p（0），p（0）k-1） 当p（0）k=1时-主键-1i=1p（0）与（6）的解（如果有的话）非常接近：假设对于某些n≥ 0近似解（q，…，qk）=（p（n）。，p（n）k）已被发现。简单有限混合物模型7的精确系数——对于i=1，k通过求解（9）来尝试依次更新（q，…，qk），其中组件i在b）中扮演组件1的角色，p=qias以及g=Pkj=1，j6=iqjgj1-气。如果i=1，k当停止时，更新后的qito处于（0，1）的充分必要条件不满足——因此可能无法解决Sk中的（6）-1.否则，尽可能使用（9）的解决方案更新qi，结果是qi、new和setqj，new=1- 齐新1- qiqj，j 6=i.–在步骤k集合（p（n+1）之后，p（n+1）k）=（q1，新的，…，qk，新的），如果算法未因违反（6）的可分辨性条件而停止当合适的距离测量值介于成功（p（n），…）之间时，终止计算。，p（n）k）非常小。ut3量化问题的应用有限混合模型在机器学习环境中自然出现。具体而言，在本说明中，我们考虑以下背景：假设2o(Ohm, H） 是一个可测量的空间。为了一些k≥ 2，A，Ak Ohm 是一部分Ohm. A是由H和Ai生成的σ场，ieA=σ（H∪ {A，…，Ak}）=k[i=1（Ai∩ 嗨）H。

，香港∈ H.o Pis是一个关于(Ohm, A） 当P[Ai]>0表示i=1时，k、 Pis是一个关于(Ohm, H） 。写下关于Pi的期望值有一个衡量标准(Ohm, H） 和μ-f，fk-1.≥ 0，fk>0使得p[H | Ai]=ZHfidu，i=1，k、 H∈ H.空间(Ohm, A、 P）描述了分类师的培训集。在训练集中，对于每个示例，特征（用H表示）和类（用Ai之一描述）都是已知的。请注意，fk>0意味着Ak/∈ H(Ohm, H、 P）描述了部署分类器的测试集。在测试集上，只有示例的特征是已知的。8 Dirk-Tasche用数学术语来说，量化可以被描述为基于训练集上观察到的属性扩展Ponto A的任务，即P。基本上，这意味着在测试数据集上估计先验类别概率（或普遍性）P[Ai]。在本文中，假设PA 6=P答：在机器学习文献中，这种情况被称为数据集移位（参见[8]及其参考文献）。具体而言，我们考虑以下两种数据集转移类型（根据[8]）：o协变量转移。PH 6=P但是P[Ai | H]=P[Ai | H]对于i=1，k、 在实践中，这意味着P[Ai]6=P[Ai]对于大多数人（如果不是所有人的话）先验概率转移。对于至少一个i，P[Ai]6=P[Ai]，但对于i=1，…，P[H | Ai]=P[H | Ai]，k、 H∈ 这意味着PH 6=PH ifP[·| A]。，P[·| Ak]是线性独立的。在实践中，在变量和先验概率转移的情况下，对于某些i，很可能有P[Ai]6=P[Ai]。因此，P[Ai]估计意义上的量化对于协变量和先验概率变化都很重要。在协变量转移假设下，给出了P[Ai]的自然估计量P[Ai]=EP[Ai | H], i=1，K

（10） 在先验概率转移下，选择合适的P[Ai]估计量并不明显。以下结果将[1]中的比例概率平均法推广到多类情况。它允许从（10）给出的协变量移位估计中导出先验类概率的先验概率移位估计。提议1。在假设2下，假设有q≥ 0, . . .,qk≥ 0，pki=1qi=1，这样Pc可以表示为一个简单的实体，如下所示：P[H]=kXi=1qiP[H | Ai]，H∈ H.（11a）那么它就是这样的EP[A | H]...EP[Ak | H]= MQqk，, （11b）其中矩阵M=（mij）i，j=1，。。。，kis由mij=E给出P[Ai | H]| Aj]= EP[Ai | H]P[Aj | H]/ P[Aj]。（11c）简单有限混合物模型的精确证明。立即从（11a）和条件期望的定义。UT出于实际目的，第一行（11c）的米津表示法更有用，因为大多数情况下，P[Aj|H]的准确估计值都不可用。因此，（11c）第一行和第二行的期望值之间可能存在非零差异。然而，与第二行相比，对于（11c）第一行rhs的推导，没有使用条件期望的特定属性。推论1。在命题1的设置中，假设k=2。定义=varP[A | H]P[A]（1）- P[A]）∈ [0,1]，用vart表示P下的方差。然后我们有P[A | H]= P[A]（1）- R） +qR。（12） 证据。我们从向量方程（11b）的第一个元素开始，应用一些代数运算：EP[A | H]=qP[A]EP[A | H]+1.-q1-P[A]EP[A|H]（1）- P[A | H]）=P[A]（1）- P[A]）-1.问题（1）- P[A]）EP[A | H]+ P[A]（1）- q）P[A]- EP[A | H]=P[A]（1）- P[A]）-1.QEP[A | H]- P[A]+ P[A]P[A]- EP[A | H].来自P[A]- EP[A | H]= P[A]（1）- P[A]）- 变量P[A | H]现在结果如下。

根据推论1，对于二元分类问题，如果数据集移位不是协变量移位而是先验概率移位，则协变量移位估计器（10）低估了类别概率的变化。有关分类和计数估计器的类似结果，请参见[4]第2.1节。然而，根据（12），协变量移位估计器和真实先验概率之间的差异越小，分类的判别力（由广义R衡量）就越大。此外，（12）和（11b）都为q，…，提供了封闭形式的解决方案。，在先验概率移位假设下，将协变量移位转化为正确估计的qk。在下文中，用这种方法定义的估计器被称为标度概率平均估计器。10 Dirk-Tasche关于二元分类情况下协变量移位和标度概率平均估计之间关系的推论1可以推广到协变量移位和KL距离估计之间的关系。推论2。在假设2下，考虑k=2的情况。设X=f，假设（8b）对E=E成立，如解p∈ 存在（6）中的（0,1）。还有一些α∈ [0,1]这样P[A | H]= (1 - α） P[A]+αP.证明。假设g>0是pw的密度，关于某个测度νon(Ohm, H） 。根据假设2，ν不需要等于u，如果没有其他候选项，我们可以选择ν=Pand g=1。根据定理1 a），则有ν-密度g≥ 0，g>0，使得gg=x和g=pg+（1- p） g.我们定义了一种新的概率度量(Ohm, A） 通过设置eP[Ai]=P[Ai]，i=1,2，eP[H|Ai]=ZHgidν，H∈ H、 i=1,2。通过构造P[H]=peP[H | A]+（1- p） eP[H | A]，H∈ H.因此，我们可以将推论1应用于obtainEeP[A | H]= P[A]（1）-呃，在哪里∈ [0,1]的定义与Rwith的定义类似，Rwith预先替换了byeP。

我们也可以观察到，通过构造pWe haveeP[A | H]=P[A]gP[A]g+P[A]g=P[A]XP[A]X+P[A]=P[A | H]。选择α=Ert，这就证明了推论2。Uth由（6）的解定义的前一类概率的KL距离估计量（或在ν是经验度量的情况下的ML估计量）通常与协变量移位和标度概率平均估计量有关吗？假设测试数据集与训练数据集之间存在正类概率的先验概率偏移，即（11a）适用于q，qk>0。在假设2和密度比fi的轻度线性独立条件下，定理1暗示KL距离和标度概率平均估计给出相同的结果。注意，在假设2给出的上下文中，定理1中的变量Xi可以直接定义为Xi=fifk，i=1，K- 或者，相当于byXi=P[Ai | H]P[Ak |H]P[Ak]P[Ai]，i=1，K- 1.（13）如果所涉及的分类是通过二元或多项式逻辑回归建立的，则密度比的表示（13）可能更可取。一般来说，根据定理1，在假设2描述的量化问题背景下，将KL距离估计器应用于测试特征分布P的结果是一种分布的混合表示，其密度比与类别特征分布P[·Ai]，i=1，K- 1.因此，在假设训练和测试数据集中的密度比的情况下，KL距离估计器是有意义的。一方面，该假设类似于协变量转移假设中相同条件类概率的假设，但无论如何都不依赖于训练集的先验类概率。

这与卵巢移位假设相反，后者隐含地接受了与训练集先前课堂概率有关的“记忆效应”。另一方面，“相同密度比”假设弱于“相同密度”假设（前者由后者暗示），后者是先验概率假设的一部分。“相同密度比”和相关KLdistance估值器的一种可能描述是，“相同密度比”概括了“相同密度”，从而实现了测试集特征分布的精确拟合（根据定理1，这并不总是可能的）。因此，可以公平地说，“同一密度比”更接近“同一密度”，而不是“同一条件类别概率”。给定包含完整信息的培训数据（由假设2中的σ-字段A表示）和仅包含特征信息但不包含类别信息的测试数据（假设2中的σ-字段H），无法确定卵巢移位或相同密度比假设是否更适合数据。对于这两种假设，都会导致测试集特征分布P的精确拟合但一般来说，对测试集的先验类概率给出了截然不同的估计（见推论2和第5节）。只有当公式（6）没有正分量的解时，才能说“相同密度比”不能正确描述测试数据，因为没有测试集特征分布的精确值。

在这种情况下，“协变量转移”可能也不合适，但至少它提供了一个数学上一致的数据模型。如果“协变量变化”和“相同密度比”都提供了一致的模型（即测试集特征分布的精确系数），那么因果关系的非数学考虑（特征是由类引起的还是由类引起的12 Dirk-Tascheby特征？）可能有助于选择更合适的假设。有关此问题的详细讨论，请参见[3]。4成本量化“成本量化”在[4]中解释如下：“量化任务的第二种形式适用于企业中的一种常见情况，即成本或价值属性与每个案例相关联。例如，客户支持日志有一个数据库字段，用于记录解决每个独立问题所花费的时间，或用于解决客户问题的零件和劳动力的总货币成本……machi的成本量化任务ne learning：给定一个带有类标签的有限培训集，引入一个成本量化器，该量化器将一个未标记的测试集作为输入，并返回与每个类相关的总成本的最佳估计值。换句话说，返回每个类的成本值小计。”仔细阅读[4]第4.2节可以发现，作者最喜欢的成本量化解决方案基本上只适用于成本属性在类中保持不变的情况。根据本附注的假设2，可以更普遍地处理成本量化。用C表示与示例相关的（随机）成本。根据上面引用的成本量化描述，C实际上是示例的一个特征，因此，在假设2下，C可以被视为一个可测量的随机变量。从数学角度讲，成本量化的目标是估算每类[C 1Ai]，i=1。

，k.协变量转移假设。在这个假设下，我们得到[c1ai]=EC P[Ai | H]= EC P[Ai | H]. （14） 这给出了[4]的“分类与总计”估计量的概率加权版本恒定密度比的假设。设Xi=fifk，i=1，K- 1.如果（6）（u=Pand g=1）的溶液p>0。，主键-1> 0，pk=1-主键-1j=1pj<1那么我们可以估计条件类概率p[Ai | H]，前提是[4]的等式（4）和（5）中使用的C+代表相同的条件期望。同样的观察也适用于C-.对于集合M，其指标函数1M定义为1M（M）=1表示M∈ M和M（M）=0表示M/∈ M.简单有限混合物模型13P[Ai | H]=piXi1+Pk的精确系数-1j=1pj（Xj- 1） ，i=1，K- 1，P[Ak | H]=pk1+Pk-1j=1pj（Xj- 1).由此可知，e[c1ai]=piE“cxi1+Pk-1j=1pj（Xj- 1） #，i=1，K- 1，E[C 1Ak]=pkE“C1+Pk-1j=1pj（Xj- 1)#.（15） 显然，（14）和（15）的rhs估计的准确性在很大程度上取决于P[Ai | H]估计的准确性和训练集上的密度比。一般而言，对这些数量的准确估计将充分利用σ-字段H中的信息（即估计时可用的信息）以及成本特征C的H可测量性。为了实现这一点，当估算类a和H中反映的特性之间的关系时（如通过回归方法），C必须用作解释变量。由于一维密度相对容易估计，所以选择H=σ（C）来计算（14）和（15）可能是有意义的。请注意，这一结论乍一看似乎与[4]第5.3.1节相矛盾。建议“几乎永远不要将成本属性作为分类器的预测输入功能”。