策略转换和学习最优策略

然后我们有：麦克斯{-Lπk（z，y）-Kθ), 0} = 0.然后：0.5-P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-麦克斯{-Lπk（z，y）-Kθ), 0}= 0.5 -P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）≥ τ、 最后一行是0.5- P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） 通过（C.20）的假设和πk（z，y）的事实-Kθ） >0，并通过（3.17）中τ的定义。3。πk（z，y）-Kθ*) > 0和πk（z，y）-Kθ) ≤ 0.然后我们有：麦克斯{-Lπk（z，y）-Kθ), 0} = -Lπk（z，y）-Kθ). （C.21）然而，由于πk（z，y-Kθ*) > 那么它一定是：0.5≤ P（英国）≤ πk（z，y）-Kθ*)|Zk=z，Y-k=y-k） =P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） ，其中我们使用了性质（C.13）和θ*满足（C.5）和（C.6）。但这意味着：0.5-P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）≤ （C.22）将（C.21）和（C.22）结合起来，与（C.20）的假设相矛盾。因此，在（C.20）的假设下，这种情况是不可能的。πk（z，y）-Kθ*) > 0和πk（z，y）-Kθ) > 0. 然后我们有：麦克斯{-Lπk（z，y）-Kθ), 0} = 0. （C.23）然而，由于πk（z，y-Kθ*) > 那么它一定是：0.5≤ P（英国）≤ πk（z，y）-Kθ*)|Zk=z，Y-k=y-k） =P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） ，其中我们使用了性质（C.13）和θ*满足（C.5）和（C.6）。但这意味着：0.5-P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）≤ （C.24）将（C.23）和（C.24）结合起来，与（C.20）的假设相矛盾。因此，在（C.20）的假设下，这种情况是不可能的。综合所有因素，我们得出结论，假设3.1适用于C=LLandδ=τ/（LL），其中l=minkLk。C.1.3通过假设πk相对于θ的线性验证可学习性，并且由于πk仅在子向量θkofθ上延伸，函数（u，θ）7→ πk（γ（z，y）-k） )；θ) -u是Rdkfor每个（z，y）的超平面-k） ，其中dk是θk的维数。例如，在Van Der Vaart和Wellner（1996）中，由引理2.6.15得出，Φ是一个Vapnik-Chervonenkis（VC）类，VC维数最多为dk+2。

此外，重新计算Φ可以取绝对值为1的一致边界。例如，使用Van Der Vaart和Wellner（1996）中的定理2.6.7，我们可以得出：∈Qnlog N（ε，Φ，| |·| Q，2）=O（1），因此Φ容易满足熵增长条件。现在让j索引一个通用的矩函数：mj（Y-k、 Z，U，θ）={英国≤ πk（z，y）-Kθ)}-max{Lπk（z，y）-Kθ), 0} -0.5{Zk=z，Y-k=y-k} ，设Mj为相关函数类：Mj={Mj（·，u，θ）：Y×Z→ R:（u，θ）∈ U×Θ}。请注意，这些值（z，y-k） 不是函数的参数，而是与indexj关联的。因为πk在区间内取值[-1，1]，类是一致有界的。我们声称不存在被Mj破坏的大小为2的集合，这意味着Mj是一个VC子图类。我们将通过对比来证明这一点。特别地，假设存在两个点（y，z）和（y，z），以及值t，t∈ 例如：{mj（y，z，u，θ）≥ t} {mj（y，z，u，θ）≥ t}: （u，θ）∈ U×Θ= 4.（C.25）换句话说，我们假设集合{（y，z），（y，z）}被Mj打碎，t，t∈ R见证了悲剧。我们有：mj（y，z，u，θ）={英国≤ πk（z，y）-Kθ)}-max{Lπk（z，y）-Kθ), 0} -0.5{z1，k=z，y1，-k=y-k} ，mj（y，z，u，θ）={英国≤ πk（z，y）-Kθ)}-max{Lπk（z，y）-Kθ), 0} -0.5{z2，k=z，y2，-k=y-k} 。现在考虑两种情况：1。{z1，k=z，y1，-k=y-k} ={z1，k=z，y1，-k=y-k} ：在这种情况下，两个函数mj（y，z，u，θ）和mj（y，z，u，θ）对于所有（u，θ）都是相同的∈ U×Θ。这意味着（C.25）是不可能的，因为Mj至少不能分辨出（1,0）和（0,1）向量中的一个。2.{z1，k=z，y1，-k=y-k} 6={z1，k=z，y1，-k=y-k} ：在这种情况下，函数mj（y，z，u，θ）或mj（y，z，u，θ）中至少有一个是零函数。同样，这意味着（C.25）是不可能的。

例如，如果mj（y，z，u，θ）是零函数，那么mj不可能同时选择（0，0）和（1，0）或（0，1）和（1，1）。由于（y，z）和（y，z）是任意的，我们得出结论，不存在被Mj粉碎的尺寸2集。这意味着MJ是一个VC子图类，例如，使用Van Der Vaart and Wellner（1996）中的定理2.6.7，我们可以推导出：∈Qnlog N（ε，Mj，| |·| | Q，2）=O（1）。因此，MJ很容易满足熵增长条件。最后，让jindex得到一个通用的矩函数：mj（Y）-k、 Z，U，θ）=0.5-{英国≤ πk（z，y）-Kθ)}-麦克斯{-Lπk（z，y）-Kθ), 0}{Zk=z，Y-k=y-k} ，设Mj为相关函数类：Mj={Mj（·，u，θ）：Y×Z→ R:（u，θ）∈ U×Θ}。关于MJ的一个几乎相同的论点表明，MJ是一个VC子图类，因此基本满足熵增长条件。我们使用定理4.1（ii）得出结论，我们的策略类Γ是可满足的，收敛速度为O（n）-1/2).C.2示例2：项目评估。2.1假设2.1、2.2和2.3的验证我们现在将继续验证假设2.1、2.2和2.3。首先请注意，假设2.1是微不足道的，因为概率空间(Ohm, A、 P）是完备的，U是欧氏空间的紧子集，Θ是波兰空间；特别是，由于Z（以及X）是有限的，因此G可以被视为所有正可测函数G:Z的集合→ [0,1]，在这种情况下∈ G在[0,1]| Z |中有一个与avector等价的表示。同样的逻辑适用于每个t∈ T接下来，让我们回顾一下多功能：G-（Y，D，Z，θ）：=cl（U，U，U）∈ U:Y=U（1-D） +UD，D={g（Z）≥ U}.

（C.26）仔细检查该多功能装置表明：-（y，d，z，θ）={y} ×[y，y]×[g（z），1]，如果d=0，[y，y]×{y}×[0，g（z）]，如果d=1。（C.27）现在任何（u，u，u）∈ 我们有：d（（U，U，U），G-（Y，D，Z，θ））=D max{u- Y |，g（Z）- u} +（1）- D） 麦克斯{u- Y |，Z- g（z）}。（C.28）自g∈ G可以通过定义来测量，从这里可以很容易地验证上述距离相对于B（Y）是可测量的B（D）B（Z）。自从（u，u，u）∈ 根据Himmelberg（1975）的结果，U是任意的（另见Molchanov（2017）中的定理1.3.3），这意味着G-根据需要，是一种可测量的多功能。在符号中的模变化，很容易看出，假设2.2中给定（Y，D，Z）的向量（U，U，U）的条件分布满足（2.1），使用（2.12）中的多功能函数g（·）=g（·）。最后，请注意，力矩条件（2.14）-（2.19）中的所有力矩函数都是可测量的，且以1为界，而（2.20）和（2.21）中力矩条件中的力矩函数是可测量的，且以max{Y |，|Y |为界。转向反事实领域，回想一下多功能：G？（Z，U，U，U，θ，γ）：=（Y？γ，D？γ）∈ Y×{0，1}:Y？γ=U（1）-Dγ） +UD？γ、 D？γ={g（γ（Z））≥ U}. （C.29）注意这里我们用Y=Y、 虽然这不是必须的。此外，对这个多功能的仔细检查表明：G？（z，u，u，u，θ，γ）=（u，1），如果u≤ g（γ（z）），（u，0），如果g（γ（z））<u（C.30）。在这种情况下，（2.23）中的反事实映射是单值的。在这种情况下，函数的可测性等同于函数的可测性和G？在注意到g和γ都是可测函数之后，遵循熟悉的论证。

最后，在符号中的模变化，很容易看出假设2中给定（Y，D，Z，U，U，U，U）满足（2.3）的向量（Y？γ，D？γ）的条件分布。3使用（2.23）中的多功能，g（·）=g（·）。C.2.2假设的验证3.1首先我们关注（2.14）-（2.17）。因为这些时刻并不取决于t∈ T，以验证假设3.1，其重点在于参数g∈ G.根据力矩条件（2.14）和（2.15），我们得到：G（z，x）=P（D=1 | z=z，x=x）<==>E[（D）- g（z，x））{z=z，x=x}]≤ 0E[（g（z，x）- D） {Z=Z，X=X}]≤ 从（2.16）和（2.17）我们得到：g（z，x）=P（U）≤ g（z，x）|x=x）<==>E[（{U≤ g（z，x）}- g（z，x））{x=x}]≤ 0E[（g（z，x）-{U≤ g（z，x）}{x=x}]≤ 0，（C.32）为了符号的简单性，设g（z）：=g（z，x）表示z=（z，x）。从（C.31）中，我们看到g（z）是点识别的。定义：g*= {g:（g，t）∈ Θ*有一段时间∈ T}。然后点识别G*是单身汉，这对任何g∈ G:d（G，G）*) = 马克斯∈Z | g（Z）-g（z）|。从这里可以直接使用条件（C.31）和（C.32）来论证假设3.1的第（i）部分对于任何δ>0都满足C=1。特别地，假设g/∈ G*, 还有那个z*∈ Z满意度：d（g，g）*) = 马克斯∈Z | g（Z）-g（z）|=|g（z）*) -g（z）*)|.在不丧失一般性的情况下，假设g（z）*) > g（z）*). 那么从（C.31）我们有：E[（g（z*) -D） {Z=Z*}] = 0<E[（g（z*) -D） {Z=Z*}].因此：E[（g（z）]*) -D） {Z=Z*}] = E[（g（z）]*) -D） {Z=Z*}] -E[（g（z）]*) -D） {Z=Z*}]= g（z）*) -g（z）*)= |g（z）*) -g（z）*)|= d（g，g）*).现在，为了完成假设3.1第（i）部分的验证，我们转向（2.18）-（2.21），它可以写成：E[t（z，x）-{Z=Z，X=X}]=0，Z∈ Z、 x∈ 十、 （C.33）和：E“Ud{Z=Z，X=X}Xz∈Zt（z，x）-{X=X}t（z，X）#≤ 0, Z∈ Z、 x∈ 十、 d∈ {0, 1}. （C.34）由于这些力矩不依赖于g∈ G、 为了验证这些时刻的假设3.1，必须关注参数t∈ T

现在定义：T*= {t:（g，t）∈ Θ*为了一些g∈ G} 。从（C.33）可以清楚地看出，这也是点识别。由于gis也识别了点，我们已经*= {g} ×{t}。因此，我们认为有必要关注（C.33）中的条件；的确，t/∈ T*<==> t 6=t乘以/∈ T*当且仅当（C.33）被违反时。现在考虑一下任何一个t/∈ T*让（z*, 十、*) 满足：（z）*, 十、*) = arg maxz，x | t（z，x）- t（z，x）|。在不丧失一般性的情况下，我们可以假设t（z，x）>t（z，x）。然后：E[t（z*, 十、*) -{Z=Z*, X=X*}] = E[t（z）*, 十、*) -{Z=Z*, X=X*}] -E[t（z）*, 十、*) -{Z=Z*, X=X*}]= t（z）*, 十、*) -t（z）*, 十、*)= |t（z）*, 十、*) -t（z）*, 十、*)|= d（t，t*).如果J对所有力矩约束进行索引，如果θ/∈ Θ*如果θ=（g，t），那么我们知道：infPU，U，U | Y，D，Z∈PU，U，U | Y，D，Z（θ）maxj∈J | E[mj（y，d，z，u，u，u，θ）]|+≥ max{d（g，g）*), d（t，t*)} ≥ d（θ，Θ）*).得出结论，对于任何δ>0，假设3.1满足C=1。对于假设3.1的第（ii）部分，我们声称我们可以设置C=1。为了说明原因，我们将应用Lemma3。1.保护我们的环境。首先注意，当我们对EP[Y？γ]感兴趣时，φ是恒等式函数。引理3.1中的ThusL~n=1。

接下来，请注意我们对支持限制的定义G-G呢？我们可以推导出：d（（u，u，u），G-（y，d，z，θ））=麦克斯{u- y |，| g（z）- u |+}，如果d=0，最大{u- y |，| u- g（z）|+}，如果d=1。（C.35）d（（y？，d？），G（y，d，z，u，u，u，θ，γ））=麦克斯{u- y |，| g（z）- u |+}，如果u>g（γ（z）），max{u- y |，| u- g（z）|+}，如果u≤ g（γ（z））。（C.36）我们现在定义集合Θ-那么Θ？引理3.1在这个例子中给出：Θ-（y，d，z，u，u，u）∩ Θ*δ:=θ ∈ Θ*δ：（u，u，u）∈ G-（y，d，z，θ）={θ ∈ Θ*δ：g（z）∈ [0，u]}，如果d=0，u=y，{θ∈ Θ*δ：g（z）∈ [u，1]}，如果d=1，u=y，, 否则，（C.37）Θ？（v，γ）∩ Θ*δ:= {Θ*δ∈ Θ：（y？，d？）∈ G（y，d，z，u，u，u，θ，γ）}={θ ∈ Θ*δ：g（γ（z））∈ [0，u]}，如果d*= 0和y？=u、 {θ∈ Θ*δ：g（γ（z））∈ [u，1]}，如果d*= 1和y？=U, 否则（C.38）有了这些定义，我们就有了任何θ∈ Θ*δ：d（θ，Θ）-（y，d，z，u，u，u）∩ Θ*δ) =|g（z）-u |+，如果d=0，u=y，|u-g（z）|+，如果d=1，u=y+∞, 否则，（C.39）d（θ，Θ？（v，γ）∩ Θ*δ) =|g（γ（z））-u |+，如果d*= 0和y？=u、 |u-g（γ（z））|+，如果d*= 1和y？=U, 否则（C.40）结合（C.35）和（C.39）我们可以用`=1来验证条件（3.10）。此外，通过结合（C.36）和（C.40），我们可以用`=1验证条件（3.11）。应用引理3.1，然后得到choiceC=L~nmax{`，`}=1，如上所述。还要注意的是，对于任何δ>0的情况，Cworks的这个值都是有效的。因此，需要设置u*= 定理3.1中的1。另外，回想一下等式（2.14）-（2.17）中的力矩函数。

然后，该定理指出，E[Y？γ]的已识别集的闭凸上下界可以计算为问题（3.12）和（3.13）的解。直观地说，在定理的假设下∈ θ上的Θ和上确界∈ Θin问题（3.12）和（3.13）将在θ值处获得∈ Θ.C.2.3可学习性验证我们声称Φ是一个VC类，VC指数最多为| Z |+1。为了证明这一点，我们必须证明不存在n=|z |+1被Φ粉碎的点集Zn={z，…，Zn}。让我们，它可以是任意的实数。现在定义场景：B：={{g（γ（z））≥ u} （u）- u） +u≥ t} {{g（γ（z））≥ u} （u）- u） +u≥ t} 。。。{g（γ（zn））≥ u} （u）- u） +u≥ tn}: （u，u，u，θ）∈ U×Θ.如果B包含向量B∈ {0，1}n，那么我们说Φ“选择”了b。它必须表明，总是至少有一个向量b是性别歧视的∈ {0，1}nΦ无法识别。由于n>|Z |，至少存在一个Z∈ Z在集合中出现两次。因此有一些i，j∈ {1，…，n}使得zi=zj。那么不管（u，u，u，θ）的值是多少，我们总是有：{g（γ（zi））≥ u} （u）- u） +u={g（γ（zj））≥ u} （u）- u） +u。然后我们有：1。如果ti=tj，则Φ无法选择任何向量b∈ {0，1}n其中bi=0，bj=1.2。如果ti<tj，则Φ无法选择任何向量b∈ {0，1}n其中bi=0，bj=1.3。如果tj<tithenΦ未能选择任何向量b∈ {0，1}n其中bi=1，bj=0。因为这涵盖了ti、tj的所有可能性∈ R、 我们得出结论，总是存在至少一个Φ无法识别的二进制向量，因此Φ不会破坏大小为n=|Z |+1的集合。例如，现在使用Theorem2。6.7在Van Der Vaart and Wellner（1996）中，我们可以推断：supQ∈Qnlog N（ε，Φ，| |·| Q，2）=O（1），因此Φ容易满足熵增长条件。

现在让j索引一个通用的矩函数：mj（D，Z，θ）=（D）- g（z，x））{z=z，x=x}，设Mj为相关函数类：Mj={Mj（·θ）：{0，1}×z→ R：θ∈ Θ}.注：此类根据力矩条件（2.14）对力矩函数进行索引。还要注意的是，（z，x）不是矩函数的参数，而是与指数j有关。我们声称不存在被Mj破坏的大小为3的集合，这意味着Mj是一个VC子图类。我们将用矛盾的方式来证明这一点。特别地，假设存在三个点（d，z），（d，z）和（d，z）以及值t，t，t∈ R使：{mj（d，z，θ）≥ t} {mj（d，z，θ）≥ t} {mj（d，z，θ）≥ t}: θ ∈ Θ= 8.（C.41）换句话说，我们假设集合{（d，z），（d，z），（d，z）}被Mj破坏，而t，t，t∈ Rwitness使人震惊。我们有：mj（d，z，θ）=（d- g（z，x））{z1,0=z，x=x}，mj（d，z，θ）=（d- g（z，x））{z2,0=z，x=x}mj（d，z，θ）=（d- g（z，x））{z3，0=z，x=x}。现在考虑两种情况：1。{z1,0=z，x=x}={z2,0=z，x=x}={z3,0=z，x=x}=1：请注意∈ {0，1}，至少有两个函数mj（d，z，θ），mj（d，z，θ）和mj（d，z，θ）对于所有θ都是相同的∈ Θ. 这意味着（C.41）是不可能的。例如，假设mj（d，z，θ）=mj（d，z，θ）。那么至少有一个向量（1，0，0）或（0，1，0）不能被Mj挑选出来。2.要么{z1，k=z，y1，-k=y-k} =0或{z2，k=z，y2，-k=y-k} =0或{z3，k=z，y3，-k=y-k} =0：在这种情况下，函数mj（d，z，θ）、mj（d，z，θ）或mj（d，z，θ）中至少有一个对于所有θ都等于零∈ Θ. 同样，这意味着（C.41）是不可能的。例如，如果mj（d，z，θ）是零函数，那么mj不可能同时选择（0，0，0）和（1，0，0）。由于（d，z），（d，z）和（d，z）是任意的，我们得出结论，不存在被MJ粉碎的尺寸3的集合。

这意味着MJ是一个VC子图类，使用Van Der Vaartand Wellner（1996）中的定理2.6.7，我们可以推断：supQ∈Qnlog N（ε，Mj，| |·| | Q，2）=O（1）。因此，MJ很容易满足熵增长条件。鉴于（2.14）和（2.15）中力矩函数之间的关系，力矩条件（2.15）中力矩函数的分析几乎相同。现在让jindex得到一个通用的矩函数：mj（X，U，θ）=（{U≤ g（z，x）}- g（z，x））{x=x}，设Mj为相关函数类：Mj={Mj（·u，θ）：x→ R:（u，θ）∈ U×Θ}。注：此类根据力矩条件（2.16）对力矩函数进行索引。还要注意的是，（z，x）不是矩函数的参数，而是与指数j有关。我们声称不存在被Mj破坏的大小2集，这意味着Mj是一个VC子图类。我们将用矛盾的方式来证明这一点。特别地，假设存在两个点x和x，以及值t，t∈ R使：{mj（x，u，θ）≥ t} {mj（x，u，θ）≥ t}: （u，θ）∈ U×Θ= 4.（C.42）换句话说，我们假设集合{x，x}被Mj破坏，而t，t∈ R见证这破碎。我们有：mj（x，u，θ）=（{u≤ g（z，x）}- g（z，x））{x=x}，mj（x，u，θ）=（{u≤ g（z，x）}- g（z，x））{x=x}。现在考虑两种情况：1。{x=x}={x=x}=1:那么这两个函数mj（x，u，θ）和mj（x，u，θ）对于所有（u，θ）都是相同的∈ U×Θ。这意味着（C.42）是不可能的，因为至少有一个向量（1,0）和（0,1）不能被Mj挑选出来。2.{x=x}=0或{x=x}=0：在这种情况下，函数mj（x，u，θ）或mj（x，u，θ）中至少有一个是零函数。同样，这意味着（C.41）是不可能的。例如，如果mj（x，u，θ）是零函数，那么mj不可能同时选择（0，0）和（1，0）。由于X和X是任意的，我们得出结论，不存在被Mj粉碎的尺寸2的集合。