数据驱动的统计不确定性非线性期望

这也很清楚，当E（0）=0时，我们有等式infQ∈M{αmin（Q）}=0。备注2。正如上文在我们的示例中所讨论的，这个结果给出了凸期望如何处理“奈特”不确定性模型的一些直觉。一种方法是考虑空间上所有可能的概率度量，然后在所有度量中选择最大期望，根据每个度量的合理性对其进行惩罚。由于E的凸性是对结果进行“不确定性规避”评估的自然要求，定理1表明，这是构造惩罚不确定性的“E扩展”E的唯一方法，同时保持单调性、平移等效性和常量平凡性。特别是，如果（且仅当）E是正同源的，即它满足“任何λ≥ 0，E（λξ）=λE（ξ）”，则α最小值取{0，∞}, 我们可以重写表达式asE（ξ）=supQ∈M*公式[ξ].其中M* Misα（Q）=0的度量集。在这种情况下，我们看到我们的凸期望对应于在随机系统的可能模式ls范围内取最大期望值。备注3。上面将凸表达式e定义为L上的一个运算符∞.然而，给定等效表示式e（ξ）=supQ∈M： α（Q）<∞公式[ξ]- α（Q）,我们可以清楚地确定E（ξ）为更广泛类别的随机变量。特别是，对于所有随机变量ξ，E（ξ）都有很好的定义（但可能是有限的），因此eq[ξ]>-∞ 对于每个Q∈ Mwithα（Q）<∞.给定一个凸非线性期望E，决策问题有一类“可接受”的自然随机变量，即（给定我们评估损失）凸水平集a={ξ：E（ξ）≤ 0}。还可以使用非线性期望作为要优化的值；在此设置中，运算符的凸性非常重要。

最后，我们可以使用非线性期望给出ξ的鲁棒点估计，给定损失函数φ，通过选择值^ξ∈ 使损失E（φ（ξ）最小的R-（参见Wald[22]）。2惩罚和可能性非线性扩展的一般框架非常适合建模奈特不确定性，但通常与统计估计无关。我们希望有一个处理不确定性的一般原则，它与经典统计密切相关。我们的目标是建立一个非线性期望，该期望使用观测值得出真实世界概率的估计值，并使用这些估计值及其不确定性为各种随机结果提供稳健的平均值。与其继续采用抽象的公理化方法，我们还应考虑以下具体问题：定义2。假设我们有一个观测向量x，取RN中的值。对于型号Q∈ M、 设L（Q | x）表示x在Q下的可能性，即x相对于参考度量的密度（为了简单起见，我们将采用RN上的beLebesgue度量）。让Q Mbe考虑中的一组m模型（例如，一组参数分布）。然后，我们将“Q | x-散度”定义为负对数似然比αQ | x（Q）：=-日志L（Q | x）+ supQ∈Qnlog公司L（Q | x）o、 右侧很好地确定是否存在最大似然估计。给定Q-MLE^Q，我们将得到更简单的表示αQ | x（Q）：=-日志L（Q | x）L（^Q | x）.回想一下，Q-MLE（最大似然估计）是一个可测的映射x→^Q∈ Qsuch that L（^Q | x）≥ L（Q | x）表示所有Q∈ Q

我们说一个量Y是Q-MLE f或EQ[ξ]ifY=E^Q[ξ]，其中^Q是Q-MLE。给定αQ | x，对于不确定性厌恶参数k>0和指数γ∈ [1，∞], 我们得到了相应的凸期望k，γQ | x（ξ）：=supQ∈QnEQ[ξ| x]-kαQ | x（Q）γo我们在这里通过公约x∞= x为0∈ [0，1]和+∞ 否则W e callEk，γQ | x“Q | x-散度稳健期望”（带参数k，γ）或简单的“DR期望”。我们主要关注两种极端情况γ=1和γ=∞,然而，中间的情况是它们之间的自然插值。声明1∞= 从凸分析角度来看，0是自然的，因为它意味着| x | qis与| x | p的凸对偶成比例，每当p-1+q-1=1，forp∈ [1，∞].我们将把注意力集中在特殊的case上，其中x={Xn}Nn=1，并且在每个Q下∈ Q、 我们知道X，{Xn}n∈Nare iid RANDOM变量–这允许分析可处理的结果，但我们的方法适用性更高。备注4。在我们的示例中，上述Q对应于一组度量，使得x，{Xn}Nn=1是具有参数p的iid贝努利∈ [0，1]。在这个例子中，我们没有考虑M中的所有度量s（例如，这将包括{Xn}Nn=1和X来自完全不相关的分布的模型），但我们也没有将注意力限制在单个Q上∈ Q、 通常，不能手动计算运算符E，需要进行数值优化或近似。在上例1的设置中，如果γ=1，则可以获得闭合形式的表示，但这是相当合理的（最佳q是二次方程的解，但Ek，γq | x（ξ）的求积方程没有简化）。

可以导出闭合形式量的一个简单示例是经典设置，假设数据以未知平均值开始（如上所述，这些对于大N来说非常相似）。示例2。假设x=（x，x，…，XN）和Q对应于那些测量，其中x，{XN}Nn=1是iid N（u，1）随机变量，其中u未知。那么，如果'X=N-1PNn=1xndentes样本平均值，对于任何常数β>0，可使用简单微积分推导γQ | x（βx）=supu∈Rnβu-2公里NXn=1（u- Xn）-NXn=1（(R)X- Xn）γo=supu∈Rnβu-N2k（u-(R)X）γo=β′X+β2γ2γ-1.千牛γ2γ-1（2γ）-12γ-1.1.-2γ.这个首字母缩略词也可以代表“数据驱动的稳健预期”，这可能是一个值得强调的重点。特别是，当γ=1时，我们有ek，1Q | x（βx）=β′x+βk2N=β′x+kVar（β′x），取极限γ→ ∞ （或从定义上说是可怕的）、Ek、，∞Q | x（βx）=β′x+βr2kN=β′x+√2k标准差（β′X）。在后一种情况下，取k≈ 2，我们得到了βX的经典95%置信区间的上界。相应的较低期望值由对称量给出-Ek，1Q | x(-βX）=β′X-βk2N，-埃克，∞Q | x(-βX）=β′X- βr2kN。从这个例子中，我们可以观察到一些现象，下面我们将更全面地讨论这些现象。首先，对于γ<∞, Ek，γQ | x（βx）在β中不是正同质的，即Ek，γQ | x（|β| x）6=|β| Ek，γQ | x（x）。考虑的随机变量越大（绝对值），不确定性对我们评估的影响就越大。

另一方面，当γ=∞, 而且在Ek和，∞Q | X和E[X]的分类置信区间。其次，对于任意γ，作为不确定度参数与样本k/N的比值→ 0时，DR期望收敛到（唯一的）Q-MLEβ′X（即，与Q中具有较大t似然的度量相对应的参数）。该收敛为（k/N）γ2γ级-1、在此设置中，我们还可以计算，对于β>0，Ek，1Q | x（βx）=supu∈Rnβ（1+u）-N2k（u-(R)X）o=（β+βN（N-2kβ）（N-2kβ）\'Xβ<N/2k+∞ β≥ N/2K地址：，∞Q | x（βx）=β1+(R)X+p2k/N,这永远是有限的。第4节将更详细地考虑Ek，1Q | x中的这种爆炸。请再次注意，作为k/N→ 0，Ek，γQ | x（βx）→ β（1+(R)X），这是E[βX]的Q-MLE。备注5。我们将重点关注估算可能性的使用，但很明显，也可以考虑其他数量。特别是r，如果我们有一个参数分布Q族，参数的个数是可变的，那么用Akaike的信息准则或theBaye-sian信息准则来惩罚是合理的，而不是简单地用似然来惩罚。在某些情况下，使用准似然而非真实似然也可能令人感兴趣，尤其是如果这使得问题更具协同计算能力。此外，包括与“先前”惩罚的对数密度相关的术语可能很有趣，因此将使用后验分布的对数密度，而不是可能性来计算惩罚（参见示例5）。为了简单起见，我们不会在这里详细讨论这些变体，但是它们的行为应该与我们所考虑的性质相似。我们在上面已经注意到，在高斯情况下，我们的非线性期望仅在γ=∞.

这是一个普遍的事实，如下所述。提案1。在γ=∞ （只有在这种情况下，假设可能性是有限的，并且对于Q的一个非平凡子集是变化的），我们的非线性期望是正齐次的，即isEk，γQ | x（βξ）=βEk，γQ | x（ξ），对于所有β>0 i fγ=∞.证据一个凸非线性期望是正齐次的，当且仅当惩罚值仅取{0，∞}. 考虑到似然od是有限的，并且在Q的非平凡子集上变化，对于nyγ<∞, 但rγ=∞ 副定义。备注6。对于Q-MLE^Q，定义为L（Q | x）≤ L（^Q | x），soαQ | x（Q）≥ 0，仅当Q是最大似然模型时相等。一般来说，我们不能说αQ | xis是否是凸集（实际上，我们没有假设其域Q是凸集），因此通常情况下（k-1αQ | x）γ是Ek的最小惩罚，γQ | x.2.1动态一致性在非线性实验理论中，动态一致性问题受到了广泛关注。如果我们有一个家庭≥0相对于过滤{Ft}t的“条件”非线性期望≥0，则对于每个ξ和所有s，动态c一致性要求≤ t、 我们有（i）递归关系（Et（ξ））=Es（ξ）和（ii）相关条件Es（IAξ）=IAEs（ξ），用于ALA∈ Ft.这个概念通常不适合我们的方法，因为我们定义的预期通常不一致。这可以从下面示例2的Easy扩展中看到。示例3。在示例2的上下文中，写xN={X，…，xN}，因此FN=σ（xN）。

我们有Ek，1Q | x（Ek，1Q | x（x））=Ek，1Q | xX+X+k=X+k+Ek，1Q | X十、=X+k+X+k=X+3k6=X+k=Ek，1Q | X（X）andEk，∞Q | x（Ek，∞Q | x（x））=Ek，∞Q | xX+X+r2k=X个+√k+Ek，∞Q | x十、=X个+√k+X+rk=X+（1+2-1/2）√k6=X+√2k=Ek，∞Q | x（x）。所以在任何一种情况下，非线性表达式{Ek，γQ | xN}N∈Nis不是递归的。因此，我们的问题在以下（密切相关的）关键方面与动态一致的问题不同：o在动态一致的环境中，惩罚是规定的（并且可能在整个时间内保持不变，如[6]中所述），而观察结果导致在非线性期望中出现条件期望。在我们的设置中，惩罚由观测值决定（通过Q | x-散度），因此只需要指定模型族Q和常数k，γ。这样，观测值将直接形成我们对现实世界概率的理解，而不是简单地用条件概率代替它们在动态一致的环境中，决策通常被认为是在每个时间点做出的，需要确保它们满足动态规划原则（因此为未来的决策制定计划是合理的）。在我们的环境中，我们自然会在反复观察后考虑做出一个单一的决定，并将其视为一个经验基础在动态一致的设置中，通常有一个极限，即观察次数inc等于结果的真实值，即isE（ξ| Ft）→ ξ为t→ T在我们的设置中，我们通常使用thatEk，γQ | xN（φ（X））→ EP[φ（X）]为N→ ∞ in P-所有P的概率∈ Q、 也就是说，我们的预期c接近“真实”指标下的预期。奇怪的是，在这种情况下，递归可以使非线性预期的风险规避程度降低，即Ek，1Q | x（Ek，1Q | x（x））<Ek，1Q | x（x）。

这与非线性期望的典型行为相反（例如，参见Madan、Pistorius和Stadje[17]）。γ=∞, 我们有通常的关系Ek，1Q | x（Ek，1Q | x（x））>Ek，1Q | x（x），但对于γ的其他值（例如γ=2），可以观察到递归步骤的数量和风险规避水平之间的非单调关系在动态一致的设置中，如果我们假设我们的观测值与X无关（在所有Q下∈ Q） 通常，我们对X的值一无所知，因此E（φ（X）| FN）是常数。在我们的环境中，需要独立的观察来教会我们X的分布，并提供有用的信息，这些信息被纳入我们的期望中在动态一致性设置中，底层模型通常需要在随时间粘贴的情况下保持稳定。从概念上讲，这意味着在不同时期指导我们观察的“真实”模型之间不存在显著联系。相反，在我们的设置中，我们通常假设基础模型是随时间变化的常数（即我们的观测值），因此重复观测可以提供“真实”模型的更多信息。在[6]中，考虑了一个过滤问题，其中ξ取决于一个隐藏的时变过程，并使用观测值过滤ξ的期望值。这在两个方面与非线性期望相结合。首先，在初始校准阶段使用DR期望方法来估计模型的潜在概率结构及其不确定性，即隐藏过程和观测过程的动力学。其次，从DR期望方法获得的惩罚函数用于为这些过程的新实现建立具有良好动态特性的非线性期望，并与在线过滤器相关联。

在第二种情况下，新信息被纳入风险评估中，但不能重新校准潜在概率动力学的估计。然而，正如我们将看到的，我们的非线性预测的一些“动态”特性是可行的。特别是，在第3节中，我们将考虑DR期望的大样本渐近行为。2.2指数和熵我们提出的凸期望与风险规避决策中更传统的数量，即指数效用下的确定性等价物之间存在联系，这并不奇怪。定义3。对于随机变量ξ，在参考度量值P下，指数效用下的确定性等价物具有定义kexp（ξ）=klog EP[exp（kξ）]，其中k>0是风险规避参数。定义相对熵（orKullback–Liebler散度）DKL（Q | | P）=EQhlogdQdPi=EPhdQdPlogdQdP特别是，新的观察结果不能影响我们对早期活跃的衡量标准的看法。如前所述，这更普遍地与奈特（Knight）[14]的观点相联系，他讨论了不同时间的观察可能来自不同模型的问题。困难在于，如果没有某种性质上的同质性假设，统计推断是不可能的。我们有表示（例如，参见[8]）Ekexp（ξ）=supQ∈MnEQ[ξ]-kDKL（Q | | P）o.用条件期望代替期望，得到条件确定性方程。备注7。将X定律的相对熵与其他观测值{Xn}n分开考虑是有用的∈N

因此，我们定义了kl | X（Q | | P）=Zlogf（x，Q）f（x，P）f（x，Q）dx。假设^Q≈ P，当P是“真实世界”概率测度时，根据大数定律，我们希望在标准偏差αQ | x（Q）=-NNXn=1logf（Xn，Q）f（Xn，^Q）≈ -EPhlog公司f（X，Q）f（X，^Q）我≈ DKL | X（P | Q）和指数效用中的惩罚，即DKL（Q | P）。一般来说，这是因为我们有一个有限的测度族Q，以及相对熵的对称性，因为DKL（Q | | P）6=DKL（P | | Q）。我们将在下一节中探讨这一联系。备注8。考虑不确定对称位置参数的情况，即当Q由未知量θ参数化时，在每个Qθ下，{Xn}Nn=1是密度为f（| x）的iid- θ|）。然后可以证明DKL | X（Qθ| Qθ′）=DKL | X（Qθ′| Qθ）。因此，在这些情况下，可以尝试在MLE测度^Q下将非线性期望与指数确定性等效。然而，这要求测度Q∈ M最大化Q[X]- DKL | X（Q |^Q）在类Q内。也就是说，优化器仅通过改变参数θ来区分^Q。一般来说，这只是考虑的模型是均值不确定的高斯模型的情况。然后，当P=^Q时，我们得到（参见示例2）Ekexp（βX）=β′X+βkVar（X）。备注9。我们方法的一个扩展是将惩罚函数改为包含在“其他”方向上的熵项，即使用惩罚αk，β（Q）=infQ′∈某些β大于0的QnβDKL（Q | | Q′）+kαQ | x（Q′）。当Q是一个参数族时（我们认为我们的模型应该与参数模型相似，如果不是完全相同的话），或者当我们希望包含ris k厌恶（使用指数效用测量）时，这尤其令人感兴趣。