策略转换和学习最优策略

，J，我们有：*:= infθ∈Θ*infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ=infθ∈Θ*infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）supλ∈RJ+Zа（v）dPVγ+u*JXj=1λjEPY，Z，U[mj（y，Z，U，θ）]！≥ infθ∈Θ*infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（y，Z，U，θ）]！≥ infθ∈ΘinfPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（y，Z，U，θ）]！。因此，有必要证明存在函数λ`bj:Θ×PY，Z→ {0，1}对于j=1，满足逆不等式。这是建设性的。特别是定义：J*（θ，PY，Z）：=J∈ {1，…，J}:infPU|Y，Z∈PU | Y，Z（θ）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]=infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+.也就是说，设定J*（θ，PY，Z）返回获得问题内部最大值的弱正（即弱违反）矩函数的指数：infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+。现在设置：λ`bj（θ，PY，Z）：={j∈ J*（θ，PY，Z）}。（B.39）为了说明这一选择为什么有效，从定义任何θ开始∈ Θ*δ. 根据假设3.1（ii），我们有：Cd（θ，Θ）*) ≥ φ*- infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ。（B.40）此外，根据假设3.1（i），由于θ∈ Θ*δ根据假设，我们有：Cd（θ，Θ）*) = Cmin{δ，d（θ，Θ）*)} （B.41）≤ infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+=infPU | Y，Z∈PU | Y，Z（θ）λ`bj（θ，PY，Z）| EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+=infPU | Y，Z∈PU | Y，Z（θ）λ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]≤JXj=1infPU | Y，Z∈PU | Y，Z（θ）λ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]≤ infPU | Y，Z∈PU | Y，Z（θ）JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（Y，Z，U，θ）]。（B.42）现在通过构造，我们有了*≥ C/C.因此：Cd（θ，Θ）*) ≤ u*Cd（θ，Θ）*).

（B.43）现在使用（B.43）组合（B.40）和（B.42）并重新排列以获得：*≤ infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*infPU | Y，Z∈PU | Y，Z（θ）JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（Y，Z，U，θ）]≤ infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（y，Z，U，θ）！，这适用于所有θ∈ Θ*δ. 为了完成证明，考虑任何θ∈ Θ \\Θ*δ. 回想一下第3.1条的假设，即→ [~n\'b，~nub] R.然后使用假设3.1，我们有：infPU | Y，Z∈PU | Y，Z（θ）不舒服？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*JXj=1λ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]≥ ~n\'b+u*infPU | Y，Z∈PU | Y，Z（θ）ZJXj=1λ`bj（θ，PY，Z）mj（y，Z，u，θ）d（PU | Y，Z×PY，Z）≥ ~n\'b+u*infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+≥ ~n\'b+u*Cmin{δ，d（θ，Θ）*)}= ~n\'b+u*Cδ≥ φ*,最后一行在哪里*≥ （~nub）- ~n\'b）/（Cδ）≥ (φ*- ~n\'b）/（Cδ）。因为我们已经证明了每个θ的质量都成立∈ Θ，我们有：infθ∈ΘinfPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）dPVγ+u*JXj=1λ`bj（θ，PY，Z）EPY，Z，U[mj（y，Z，U，θ）]！≥ φ*.这就完成了证明。引理B.5。假设定理3.1的假设成立，定义为：h`b（y，z，θ，γ）：=infu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λ`bj（θ，PY，Z）mj（y，Z，u，θ）！。式中λ`bj:Θ×PY，Z→ {0,1}，j=1，J、 都来自引理B.4。然后我们有：Zh`b（y，z，θ，γ）dPY，z≤ 最大λj∈{0,1}Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！dPY，Z，（B.44），如果θ等于（B.44）∈ Θ*.引理B.5的证明。

我们有：Zh`b（y，z，θ，γ）dPY，z:=Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λ`bj（θ，PY，Z）mj（y，Z，u，θ）！dPY，Z=最大λj∈{0,1}s.tλj=λ`bj（θ，PY，Z）Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！dPY，Z≤ 最大λj∈{0,1}Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！dPY，Z。第一条线通过定义保持不变，第二条线保持不变，因为λj（θ，PY，Z）仅取决于θ，第三条线保持不变，因为无约束最大值始终弱于约束最大值。剩下的只是证明最后一个不等式在θ时成立∈ Θ*. 要做到这一点，必须证明对于任何θ∈ Θ*:Zh`b（y，z，θ，γ）dPY，z≥ 最大λj∈{0,1}Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！关于这一点，注意引理B.3我们有：Zh`B（y，Z，θ，γ）dPY，Z=Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λ`bj（θ，PY，Z）mj（y，Z，u，θ）！dPY，Z=infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λ`bj（θ，PY，Z）mj（y，Z，u，θ）！d（PU | Y，Z×PY，Z）。（B.46）由于总和的总和大于总和，我们有：infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λ`bj（θ，PY，Z）mj（y，Z，u，θ）！d（PU | Y，Z×PY，Z）≥ infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）ν（v）d（PU | y，z×PY，z）+infPU | y，z∈PU | Y，Z（θ）u*JXj=1λ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]。

（B.47）现在回想一下λ`bj（θ，PY，Z）=1当且仅当：infPU | Y，Z∈PU | Y，Z（θ）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]=infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+。从这里我们得出结论：infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+=infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，Jλ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]≤ infPU | Y，Z∈PU | Y，Z（θ）JXj=1λ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]，因此：infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）~n（v）dPY，z，u+infPU | y，z∈PU | Y，Z（θ）u*JXj=1λ`bj（θ，PY，Z）EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]≥ infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）~n（v）dPY，z，u+u*infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+。（B.48）然而，由于θ∈ Θ*根据假设，我们有：infPU | Y，Z∈PU | Y，Z（θ）maxj=1，。。。，J | EPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]|+=0。因此，结合（B.46），（B.47），（B.48）和（B.49）我们可以得出结论：Zh`B（y，z，θ，γ）dPY，z≥ infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）ν（v）d（PU | y，z×PY，z）。（B.50）现在，再次应用引理B.3，我们有：infPU | Y，Z∈PU | Y，Z（θ）Zinfy？∈G（y，z，u，θ，γ）ν（v）d（PU | y，z×PY，z）=infPU | y，z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z|（v）PVγ。（B.51）现在注意θ∈ Θ*:infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z~n（v）PVγ=infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）supλj∈R+Z~n（v）PVγ+u*JXj=1λjEPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]！≥ infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）maxλj∈{0,1}Z~n（v）PVγ+u*JXj=1λjEPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]！。（B.52）现在由极小极大不等式：infPU | Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）maxλj∈{0,1}Z~n（v）PVγ+u*JXj=1λjEPU | Y，Z×PY，Z[mj（Y，Z，u，θ）]！≥ 最大λj∈{0,1}infPU|Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z|（v）+u*JXj=1λjmj（y，z，u，θ）！dPVγ。（B.53）最后，通过引理B.3的迭代应用，我们得到：maxλj∈{0,1}infPU|Y，Z∈PU | Y，Z（θ）infPY？γ| Y，Z，U∈皮耶？γ| Y，Z，U（θ，γ）Z|（v）+u*JXj=1λjmj（y，z，u，θ）！dPVγ≥ 最大λj∈{0,1}Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！dPY，Z。

（B.54）结合（B.50），（B.51），（B.52），（B.53）和（B.54）我们有：Zh`B（y，z，θ，γ）dPY，z≥ 最大λj∈{0,1}Zinfu∈G-（y，z，θ）infy？∈G（y，z，u，θ，γ）ν（v）+u*JXj=1λjmj（y，z，u，θ）！dPY，Z，θ∈ Θ*. 证据到此结束。B.2.5支持定理4.1的引理。假设F:={Fα（·θ）：X→ R：θ∈ Θ, α ∈ A} 是度量空间（X，d）上可测实值函数的完全有界参数类，其中（A，da）和（Θ，dθ）也是度量空间。此外，设G是一类实值函数，每个元素G（·，θ）：X→ 定义为：g（x，θ）：=infα∈C（x，θ）fα（x，θ），对于某些f∈ F、 其中C（x，θ）是每个（x，θ）对的非空多功能函数。对于任何概率测度Q，我们有：N（ε，G，| |·| | Q，2）≤ N（ε/2，F，| |·| | Q，2）。引理B.6的证明。作为一类参数函数（由（α，θ）参数化），ε/2-F的覆盖可以用点{（αi，θi）}ni=1的集合来刻画，其中n=n（ε/2，F，| |·| | Q，2）。用N（F）表示这样的集合。对于任何g，我们都会证明这一点∈ G存在一对（α，θ）∈ N（F）使得：|g（x，θ）- fα（x，θ）|≤ ε.自从每个g∈ G可以表示为：G（x，θ）=infα∈C（x，θ）fα（x，θ），必须证明存在一对（α，θ）∈ N（F）使：infα∈C（x，θ）fα（x，θ）-fα（x，θ）≤ ε.现在让我们来看看*满足任何价值观：infα∈C（x，θ）fα（x，θ）-fα*（x，θ）≤ ε/2.也就是说，α*是最小化问题的ε/2解。现在选择一对（α，θ）∈ N（F）使得| Fα*（x，θ）- fα（x，θ）|≤ ε/2（因为N（F）是ε/2，所以这种选择总是可能的-封面（F）。那么我们有：|g（x，θ）- fα（x，θ）|=infα∈C（x，θ）fα（x，θ）-fα（x，θ）≤infα∈C（x，θ）fα（x，θ）-fα*（x，θ）+ |fα*（x，θ）-fα（x，θ）|≤ ε/2 + ε/2= ε.这就完成了证明。引理B.7。设F是波兰空间X上的一类对称的可测实值函数，设ψ=（xi）ni=1从X中选取n个点的任意向量。

然后对于任意ε>0:E | | Rn | |（F）≤2ε√n+2Diamψ，2（F）rlog n（ε，F，| |·| |ψ，2）n.引理B.7的证明。注意：nE | | Rn | |（F）=nE supf∈FnnXi=1ξ如果（xi）= E supf∈FnXi=1ξ如果（xi）.现在回想一下，Rademacher processPni=1ξ，如果（xi）相对于向量（f（x），…）之间的欧几里德距离是次高斯的，f（xn）和（f（x），f（xn））表示f，f∈ F.我们用| | F表示这种欧几里德状态-f | |ψ，2强调向量ψ=（xi）ni=1是固定的。修正一个极小ε-净F* F在| |·| |ψ中，2形式。至少存在一个函数f∈ F*例如：E supf∈FnXi=1ξ如果（xi）≤ E supf∈FnXi=1ξ如果（xi）-nXi=1ξ如果（xi）+ ε√n、 （例如，我们总是可以将fto作为F中的元素。）*最接近-f在| |·| |ψ中，2形式，它是f的对称元素。）现在来看看f∈ F、 让F*（f）∈ F*是带有| | f的函数-F*（f） | 124;ψ，2≤ ε.然后：nXi=1ξ如果（xi）-nXi=1ξ如果（xi）=nXi=1ξ如果（xi）-nXi=1ξ如果*（f） （xi）+nXi=1ξ如果*（f） （十一）-nXi=1ξ如果（xi）≤nXi=1ξ如果（xi）-nXi=1ξ如果*（f） （十一）+nXi=1ξ如果*（f） （十一）-nXi=1ξ如果（xi）≤ 辅助| | f-F*||ψ,2≤εnXi=1ξ如果（xi）-nXi=1ξ如果*（十一）+ supf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）≤ 辅助| | f-F*||ψ,2≤εnXi=1 | f（xi）-F*（xi）|+supf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）≤ 辅助| | f-F*||ψ,2≤ε√n | | f- F*||ψ、 2+supf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）≤√nε+supf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）.注意，我们使用了不等式| | f- f | |ψ，1≤√n | | f- f | |ψ，2，式中| | f- f | |ψ，1表示点ψ=（xi）ni=1时f和fat之间的距离。

现在对于a>0的任何值，我们有：expaE maxf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）!≤ E expa maxf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）!= E maxf*,F∈F*埃帕nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）!≤Xf，f*∈F*E expanXi=1ξ如果*（十一）-nXi=1ξ如果（xi）!≤Xf，f*∈F*经验aDiamψ，2（F）/2≤ N（ε，F，| |·| |ψ，2）expaDiamψ，2（F）/2,其中，最后一个不等式来自Rademacher过程是次高斯过程，参数为Diamψ，2（F）。取原木，两边除以a>0，我们得到：E maxf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）≤2对数N（ε，F，| |·|ψ，2）a+aDiamψ，2（F）。最小化关于“a”的上界：E maxf*,F∈F*nXi=1ξ如果*（十一）-nXi=1ξ如果（xi）≤ 2Diamψ，2（F）qlog N（ε，F，| |·| |ψ，2）我们得出结论：nE | | Rn | |（F）≤ 2.√nε+2Diamψ，2（F）qlog n（ε，F，| |·|ψ，2）。引理B.8。设G和H是两类函数，设F:={G+H:G∈ G、 h∈ H} 。然后：N（ε，F，| |·| |）≤ N（ε/2，G，| |·| |）N（ε/2，H，| |·| |），回忆一个随机过程（ω，t）7→ 度量空间（t，d）上的X（ω，t）相对于度量d ifE exp（λ（Xt））是次高斯的- Xs）≤ exp（λd（t，s）/2）。例如，就欧几里德度量而言，拉德马赫过程是次高斯过程。最小值为a=2对数N（ε，F，| |·|ψ，2）/直径ψ，2（F）1/2.其中| |·| |是任何规范。备注B.5。注意，这个结果的一个几乎相同的证明可以用来证明：N（ε，F，| |·| |）≤ N（ε·a，G，| |·| |）N（ε·b，H，|·| | |），其中a，b>0是满足a+b=1的任何值。引理B.8的证明。假设N（ε/2，G，| | | | | |）=N和N（ε/2，H，| | | | | |）=m。这需要显示（ε，F，| | | | |）≤ 纳米。设N（G）表示得到N的球的中心-G的覆盖，N（H）表示得到m的球的中心-H的封面。将N（G）的元素列举为G，把N（H）的元素列举为H，陛下

现在定义以下系列：Gj:={g∈ G:| | G- gj | |≤ ε/2}，Hk:={h∈ H:| | H- 香港| |≤ ε/2}，对于j=1，n和k=1，m、 然后{Gj}形成ε/2-G和{Hk}的覆盖形式aε/2-任何gj的H.Now封面∈ N（G）和香港∈ N（H）设fjk=gj+hk，定义为：fjk:={f:| | f- fjk | |≤ ε}.现在我们将讨论{Fjk}是ε-F的封面。请注意，如果我们能够确定这一点，证明将是完整的，因为只有nm集合Fjk。通过构造，每个FJK都是一个| |·||-半径为ε的球，所以它只需要检查{Fjk}是否覆盖了F。要做到这一点，需要乘以任何F∈ F.然后通过定义F=g+h来表示某些g∈ 甘地∈ H.因为{Gj}形成ε/2-G和{Hk}的覆盖形式aε/2-H的封面，我们知道有什么∈ N（G）和一些香港∈ N（H）使| | g- gj | |≤ ε/2和| | h-香港| |≤ ε/2. 但是因为fjk=gj+hkwe有：| | f- fjk | |=| |（g+h）- （gj+hk）|≤ ||G- gj | |+| | h- 香港| |≤ ε/2+ε/2=ε，因此f∈ Fjk，所以是封面{Fjk}的一个元素。自从f∈ F是任意的，我们得出结论，{Fjk}覆盖F。这就完成了证明。B.2.6支持定理5.2和引理5.1的引理B.9。让δ**如引理5.1所示。如果δ≥ δ**≥ ε>0，则：supPY，Z∈PY，ZP纽约，Z（E）*(^γ) ≥ δ) ≤ 1.- κ.那是^γ∈ G*（δ） 当δ≥ δ**≥ ε > 0.证据在整个证明过程中，让λ*(θ, γ),^λ(θ, γ), θ*(γ),^θ(γ), γ*^γ应如备注B.1所示。修正任何δ>δ**（δ=δ时的情况）**（源于连续性）。

如果σ：=E*(^γ) ≥ δ ≥ ε>0，则为E*（γ）：=supγ∈Γinfθ∈Θmaxλ∈∧phb（·，θ，γ，λ）- infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）≤ infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - infθ∈Θmaxλ∈∧ph`b（·，θ，^γ，λ）+3ε=infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）+infθ∈Θmaxλ∈∧Pnh`b（·，θ，γ）*, λ) - infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）-infθ∈Θmaxλ∈∧Pnh`b（·，θ，γ）*, λ) - infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）+ 3ε≤ infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）-infθ∈Θmaxλ∈∧Pnh`b（·，θ，γ）*, λ) - infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）+ 4ε现在注：infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - infθ∈Θmaxλ∈∧phb（·，θ，^γ，λ）≤ infθ∈Θmaxλ∈∧phb（·，θ，γ）*, λ) - 最大λ∈∧phb（·，θ）*(^γ), ^γ, λ) + ε≤ 最大λ∈∧phb（·，^θ（γ）*), γ*, λ) - 最大λ∈∧phb（·，θ）*(^γ), ^γ, λ) + 2ε≤ 最大λ∈∧phb（·，^θ（γ）*), γ*, λ) - phb（·，θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ)) + 2ε≤ phb（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -Ph`b（·θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ)) + 2ε.类似地：infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）- infθ∈Θmaxλ∈∧Pnh`b（·，θ，γ）*, λ)≤ infθ∈Θmaxλ∈λPnh`b（·，θ，^γ，λ）- 最大λ∈λPnh`b（·，^θ（γ）*), γ*, λ) + ε≤ 最大λ∈∧Pnh`b（·θ）*(^γ), ^γ, λ) - 最大λ∈λPnh`b（·，^θ（γ）*), γ*, λ) + 2ε≤ 最大λ∈∧Pnh`b（·θ）*(^γ), ^γ, λ) - 最大λ∈λPnh`b（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) + 2ε≤ Pnh`b（·θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ)) - 最大λ∈λPnh`b（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) + 2ε.因此我们有：E*(^γ) ≤ phb（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -Ph`b（·θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ))-最大λ∈λPnh`b（·，^θ（γ）*), γ*, λ*(^θ(γ*), γ*)) -Pnh`b（·θ）*(^γ), ^γ,^λ(θ*(^γ), ^γ))+ 8ε.此外，σ=E*(^γ) ≥ E*(γ*) 意味着^γ，γ*∈ G（σ）。因此：E*(^γ) ≤ supθ，θ∈Θsupγ，γ∈G*（σ） 最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|，因为ε>0可以任意小。

现在定义：En，j:=（supθ，θ∈Θsupγ，γ∈G*（σ） 最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|≤ T（δj）），（B.55）和：En:={j:δj≥δ**}注意，通过选择δ>2H，我们得到了：supPY，Z∈PY，ZP纽约，ZEcn，0= 此外，根据霍夫丁不等式的统一版本（例如Koltchinskii（2011）定理4.6，第71页），我们有：supPY，Z∈PY，ZP纽约，ZEcn，j≤ 经验-tj！，每j∈ N.我们根据工会的规定得出结论：supPY，Z∈PY，ZP纽约，Z（Ecn）≤X{j:δj≥δ**}经验-tj！≤∞Xj=0exp-tj！≤ 1.- κ.现在，关于事件En，对于每一个δ≥ δ**我们有：supθ，θ∈Θsupγ，γ∈G*（δ） 最大λ，λ∈∧|（Pn）- P）（h`b（·，θ，γ，λ）- h`b（·，θ，γ，λ））|≤ T（δ）。现在假设{E*(^γ) ≥ δ} ∩ En6=. 那么在这个事件中，我们有：σ：=E*(^γ)≤ supθ，θ∈Θsupγ，γ∈G*（σ） 最大λ，λ∈∧|（Pnh`b（·，θ，γ，λ）- Pnh`b（·，θ，γ，λ））-（Ph`b（·，θ，γ，λ）- phb（·，θ，γ，λ））|≤ T（σ）。然而，请注意，这意味着σ≤ δ**关于这个事件。但是自从∑≥ δ > δ**假设我们有矛盾。我们的结论是{E*(^γ)} ≥ δ} ∩ En=, 或者相当于{E*(^γ) ≥ δ}  Ecn，其中事件Ecn的概率最多为1- κ.C示例的其他详细信息C。1例1：同时离散选择。1.1假设2.1、2.2和2.3的验证我们现在将继续验证假设2.1、2.2和2.3。首先请注意，假设2.1是微不足道的，因为概率空间(Ohm, A、 P）是完备的，U和Θ都是欧氏范数的紧度量空间。为了验证假设2.2，请注意事实域的多功能可以重写为：G-（Y，Z，θ）=U∈ U:英国∈ [πk（Zk，Y）-Kθ） ，1]，如果Yk=0，英国∈ [-1，πk（Zk，Y）-Kθ） ]，如果Yk=1。. （C.1）从这里我们得出结论，对于任何∈ U:d（U，G）-（Y，Z，θ））=maxk{Yk=0}|πk（Zk，Y）-Kθ) -uk |++{Yk=1}| uk- πk（Zk，Y）-Kθ)|+.