策略转换和学习最优策略

（C.2）在我们的假设下，这个距离是K个可测函数的最大值，因此它本身也是可测的。自从你∈ 根据Himmelberg（1975）的结果，U是任意的（另见Molchanov（2017）中的定理1.3.3），这意味着G-是一种可测量的功能（w.r.t.B（Y） B（Z） B（Θ）），根据需要。很容易看出，假设2中给定（Y，Z）的向量U的条件分布满足（2.1）。2使用（C.1）中的多功能，θ=θ。为了完成假设2.2的验证，请注意（2.6）和（2.7）中力矩条件下的所有力矩函数均以绝对值和Borel可测量（w.r.t.B（Y）为界 B（Z） B（Θ））。现在我们来验证假设2.3。回想一下反事实多功能：G？（Z，U，θ，γ）：=Y∈ Y:Y？k={πkγ（Zk，y？-k） )；θ≥ k=1，K. （C.3）仔细检查发现：d（y？，G？（Z，U，θ，γ））=maxkYK-{πkγ（Zk，y？-k） )；θ≥ 英国}. （C.4）在我们的假设下，这个距离也是K个可测函数的最大值，它本身也是可测的。从你开始？∈ Y根据Himmelberg（1975）的结果（另见定理1.3.3 inMolchanov（2017）），这意味着G？是一种可测量的功能（w.r.t.B（Y）B（Z）B（Z）B（Θ） B（Γ）），根据需要。最后，很容易看出向量Y的条件分布？使用（2.9）中θ=θ的多功能函数，在假设2.3中给出（Y，Z，U）满足度（2.3）。图5：该图说明了违反假设3.1（ii）的情况。黑点o代表由给定（z，y）的条件分布分配的等概率等级（1/6）-k） 。红点o代表由给定（z，y）的条件分布分配的等概率等级（1/6）-k） =γ（z，y）-k） 。

在图的上半部分，我们有θ*∈ Θ*, 满足中值零假设（三个黑点o和三个红点o在零的一侧）和P的最大值（Y？γ=1 | Zk=z，Y）-k=y-k） θ*在1/6处获得。然而，在图的底部，θ的值有一个小的变化*∈ Θ*到θ/∈ Θ*导致点（z，y）违反medianzero假设-k） 和（z，y）-k） 。在新值θ处/∈ Θ*我们有p（Y？γ=1 | Zk=z，Y）的最大值-k=y-k） 是1。请注意，图形的比例可以任意小。C.1.2假设3.1的验证我们将首先验证一些C的假设3.1（ii）≥ 0和δ>0，然后将表明假设3.1（i）也满足δ>0的选择。正如正文中提到的，在我们目前对本例的假设下，假设3.1（ii）不满足。图5和图6说明了这个问题，图7说明了假设3.1（ii）满足的情况。这个问题只有在某些情况下才会出现∈ {1，…，K}和一些z∈ Z和y-K∈ Y-kwe have：（i）感兴趣的对象是P（Y？γ，k=1 | Zk=z，Y）-k=y-k） 或者P（Y？γ，k=1），（ii）反事实的反作用值πk（γ（z，Y）-k） )；θ*) = 在某个θ处为0*∈ Θ*, 和（iii）如果P（Yk=1 | Zk=z，Y-k=y-k） 6=0.5，其中（z，y-k） =γ（z，y）-k） 。在这种刀口情况下，θ的变化很小*到某个θ/∈ Θ*能引起P（Y？γ，k=1 | Zk=z，Y）的连续变化-k=y-k） 或者P（Y？γ，k=1）。为了防止政策转换的值出现这种不连续性，我们可以引入关于零附近UK分布平滑度的附加假设。特别是，我们建议施加约束，而不是（2.6）和（2.7）中的动量条件：英国≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-K- 0.5≤ max{Lπk（z，y）-Kθ） ，0}，（C.5）0.5-P英国≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-K≤ 麦克斯{-Lπk（z，y）-Kθ） ，0}，（C.6）对于某些L>0，对于k=1。

，K，还有所有的z，z∈ Z和y-k、 y-K∈ YK-1.这些约束条件如图6所示：该图说明了违反假设3.1（ii）的情况。黑点o代表由给定（z，y）的条件分布分配的等概率等级（1/6）-k） 。红点o代表由给定（z，y）的条件分布分配的等概率等级（1/6）-k） =γ（z，y）-k） 。在图的上半部分，我们有θ*∈ Θ*, 满足中值零假设（三个黑点o和三个红点o在零的两侧）和P的最大值（Y？γ=1 | Zk=z，Y）-k=y-k） θ*在1/2处获得。然而，在图的底部，θ的值有一个小的变化*∈ Θ*到θ/∈ Θ*导致违反点（z，y）的中值零假设-k） 。在新值θ处/∈ Θ*我们有P（Y？γ=1 | Zk=z，Y）的最大值-k=y-k） 是1。请注意，图形的比例可以任意小。图7：该图说明了一个不违反假设3.1（ii）的案例。黑点o表示由给定（z，y）的条件分布分配的等概率质量（1/6）-k） 。红点o代表由给定（z，y）的条件分布分配的等概率质量（1/6）-k） =γ（z，y）-k） 。在图的上半部分，我们有θ*∈ Θ*, 满足中值零假设（三个黑点o和三个红点o在零的两侧）和P（Y？γ=1 | Zk=z，Y-k=y-k） =1/6。在图的底部，θ的值有一个小的变化*∈ Θ*到θ/∈ Θ*导致违反点（z，y）的中值零假设-k） 。然而，在新的值θ/∈ Θ*我们仍然有P（Y？γ=1 | Zk=z，Y）的最大可得值-k=y-k） 是1/6。一个局部Lipschitzian约束，关于零附近的UK分布。

注意，通过采用Lsu有效长度，这些约束仅在πk（z，y）时有效-Kθ） 接近于零。也可以很容易地验证（C.5）和（C.6）所暗示的新力矩条件也满足假设2.2。我们声称，约束条件（C.5）和（C.6）意味着Ukis中值为零，中值独立于（Z，Y）-k） 。要了解这一点，请注意UK的中值为零（z，y）-k） 当且仅当：（I）πk（zk，y）-Kθ) ≤ 0和P（英国）≤ πk（zk，y）-Kθ） |Z=zk，Y-k=y-（k）≤ 0.5; 或（II）πk（zk，y）-Kθ） >0和P（Uk>πk（zk，y）-Kθ） |Z=zk，Y-k=y-（k）≤ 0.5.这些条件背后的想法如图8所示。相反，UK的中位数不为零（z，y）-k） 当且仅当：（i）πk（zk，y）-Kθ） >0和P（英国）≤ πk（zk，y）-Kθ） |Z=zk，Y-k=y-k） <0.5；或（ii）πk（zk，y）-Kθ) ≤ 0和P（Uk>πk（zk，y）-Kθ） |Z=zk，Y-k=y-k） <0.5。请注意，如果（i）保持，则（C.6）失败，如果（ii）保持，则（C.5）失败。这意味着，如果（C.5）和（C.6）都成立，那么（i）和（ii）不成立，因此Ukis中值为零，中值独立于（Z，Y）-k） 。然而，请注意，（I）或（II）可能满足，但（C.5）或（C.6）中的一个失败，因为（C.5）和（C.6）加起来比（2.6）和（2.7）中最初施加的中值零和中值独立性限制更强。我们现在将继续验证假设3.1。首先回顾一下本文中的讨论，πkis-aknown（Zk，Y）的可测函数-k、 θ）在参数θ中是线性的，并且每个（z，y）都有一个远离零的梯度（相对于θ）-k） 。因此，πkis是θ中的Lipschitz，并且也满足“reverseLipschitz”条件；也就是说，对于每个（z，y-k） 我们有：Lk | |θ- θ*|| ≤ |πk（z，y）-Kθ) -πk（z，y）-Kθ*)| ≤ Lk | |θ- θ*||,对于某些Lk，Lk>0。

现在，如果违反了其中一个约束（C.5）或（C.6），我们有以下不等式之一：P（eUk≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-0.5>max{Lπk（z，y）-Kθ） ，0}，（C.7）0.5-P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） >麦克斯{-Lπk（z，y）-Kθ） ，0}，（C.8）从（C.5）中减去（C.7）并取（z，y）-k） =γ（z，y）-k） ，我们有：P（英国）≤ πk（γ（z，y）-k） )；θ*)|Zk=z，Y-k=y-（k）-P（eUk）≤ πk（γ（z，y）-k） )；θ） |Zk=z，Y-k=y-k） =P英国≤ πk（z，y）-Kθ*)|Zk=z，Y-k=y-K- P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） <max{Lπk（z，y）-Kθ*), 0} - max{Lπk（z，y）-Kθ), 0}≤ max{Lπk（z，y）-Kθ*) -Lπk（z，y）-Kθ） 图8：该图说明了三种情况，每种情况涉及Uk概率质量的不同分配，用6个点表示o表示等概率质量，以及不同的截面积πk（z，y）值-Kθ). Inscenario（A），πk（zk，y）-Kθ） >0和P（Yk=0 | Z=zk，Y-k=y-（k）≤ 0.5. 在这种情况下，可以通过图中显示的概率质量分配来满足中值零条件。在场景（B）中，πk（zk，y）-Kθ） >0和P（Yk=0 | Z=zk，Y-k=y-k） >0.5。这里没有办法满足中位数为零的假设，因为太多的质量总是分配在零以上。在场景（C）中，πk（zk，y）-Kθ） <0和P（Yk=0 | Z=zk，Y-k=y-k） >0.5。在这种情况下，可以再次满足中值为零的条件，例如，通过图中显示的概率分配。≤ L |πk（z，y）-Kθ*) -πk（z，y）-Kθ)|≤ LLk | |θ- θ*||. （C.9）此外，从（C.6）中减去（C.8），再次取（z，y）-k） =γ（z，y）-k） ，我们有：P（eUk）≤ πk（γ（z，y）-k） )；θ） |Zk=z，Y-k=y-（k）-P（英国）≤ πk（γ（z，y）-k） )；θ*)|Zk=z，Y-k=y-k） =P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-P英国≤ πk（z，y）-Kθ*)|Zk=z，Y-k=y-K< 麦克斯{-Lπk（z，y）-Kθ*), 0} - 麦克斯{-Lπk（z，y）-Kθ), 0}≤ max{Lπk（z，y）-Kθ) -Lπk（z，y）-Kθ*), 0}≤ L |πk（z，y）-Kθ*) -πk（z，y）-Kθ)|≤ LLk | |θ- θ*||.

（C.10）从这里我们可以推断，假设3.1（ii）满足任何δ>0且C=LL，其中L=minkLk。为了验证假设3.1（i），我们将首先介绍以下引理并提供其证明的草图：引理C.1。考虑示例1中的同时离散选择环境，但使用新的动量条件（C.5）和（C.6）代替（2.6）和（2.7）。现在乘以一些值θ∈ Θ. 如果存在分布为PU | Y，Z的随机变量U∈ PU | Y，Z（θ）满足：P（英国）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-0.5≤ max{Lπk（z，y）-Kθ） ，0}，（C.11）0.5-P（英国）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）≤ 麦克斯{-Lπk（z，y）-Kθ） ，0}，（C.12）对于k=1，K和每（z，y）-（k）∈ Z×YK-1，那么θ∈ Θ*.备注C.1。注意，正是由于这个引理中的结果，（C.5）和（C.6）所暗示的新力矩条件满足备注2.1中的无回溯原则。事实上，这个引理表明（C.11）和（C.12）能够有效地刻画识别集。由于这些力矩条件不依赖于感兴趣的反事实γ，因此无回溯原理是令人满意的。注：假设存在分布为PU | Y，Z的随机变量U∈ 对于k=1，…，PU | Y，Z（θ）满足（C.11）和（C.12），K和每（z，y）-（k）∈ Z×YK-1.takeu是一个随机向量：P（eUk≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） =P（英国）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） ，对于k=1，K和每（z，y）-（k）∈ Z×YK-1，使欧盟满意（C.11）和（C.12）。

我们必须证明，我们可以定义形式P（eUk）的概率≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） 对于（z，y）-k） 6=（z，y）-k） 以一种满足（C.5）和（C.6）中剩余约束的方式，以及约束：P（英国）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）≤ P（英国）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） ，如果πk（z，y-Kθ) ≤ πk（z，y）-Kθ） ，及：P（英国）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）≤ P（英国）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） ，如果πk（z，y-Kθ) ≤ πk（z，y）-Kθ). 然而，这种概率分配显然总是可能的。这个结果的反作用是，如果θ/∈ Θ*, 那么就不存在分布为pu | Y，Z的随机变量U∈ PU | Y，Z（θ）满足（C.11）和（C.12）；换句话说，如果θ/∈ Θ*, 然后每个分布PU | Y，Z∈PU | Y，Z（θ）违反（C.11）或（C.12）。因此，引理表明，为了验证假设3.1（i），在分析违反力矩条件的情况时，必须关注力矩条件（C.11）和（C.12）。最后，在验证假设3.1（i）时，将重复使用一个重要属性：对于任何PU | Y，Z∈ PU | Y，Z（θ）和任何PU | Y，Z∈ PU | Y，Z（θ），我们必须有：P（Uk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） =P（英国）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） （C.13）对于k=1，K和每（z，y）-（k）∈ Z×YK-1.事实上，这一性质源于这样一个事实：bothPU | Y、Zand PU | Y分别在θ和θ处满足了同时离散选择模型的支持限制，因此它们必须使相同的条件选择概率合理化。现在我们准备验证假设3.1（i）。首先乘以θ的某个值/∈ Θ. 如果PU | Y，Z（θ）为空，则假设3.1（i）满足任何C，δ>0。因此，我们将关注PU | Y，Z（θ）非空的非平凡情形。注意，如果P（Yk=1 | Z=Z，Y-k=y-k） =0.5表示k=1。

，K和for every（z，y）-（k）∈ Z×YK-1，则（C.11）和（C.12）将满足任何PU | Y，Z∈ PU | Y，Z（θ）。引理C.1表示θ∈ Θ*, 与θ相矛盾/∈ Θ. 我们得出结论，如果P（Yk=1 | Z=Z，Y-k=y-k） =0.5分叉=1，K和每（z，y）-（k）∈ Z×YK-1然后θ/∈ Θ*这意味着PU | Y，Z（θ）是空的，我们有规则dout。因此，我们将以至少存在一个k和一对（z，y）为起点-（k）∈ Z×YK-这样P（Yk=1 | Z=Z，Y-k=y-k） 6=0.5。现在定义：τ：=minkmin（z，y-k） | 0.5-P（Yk=1 | Z=Z，Y-k=y-k） | s.t.| 0.5-P（Yk=1 | Z=Z，Y-k=y-k） |>0。（C.14）通过假设和构造，我们得到τ>0。我们现在依次考虑违反力矩条件（C.11）和（C.12）。首先，考虑违反（C.11）。特别是对于θ的固定值/∈ 假设：P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-0.5>max{Lπk（z，y）-Kθ） ，0}，（C.15）对于某些k和（z，y）-k） 对，其中Eukis是Eu的子向量，其分布是PU | Y，Z（θ）的一个成员。此外，让θ*∈ Θ*成为Θ的元素*最接近θ（自Θ以来就存在这种元素）*将关闭，这取决于支付功能的连续性）。有四种情况需要考虑：1。πk（z，y）-Kθ*) ≤ 0和πk（z，y）-Kθ) ≤ 然后我们有：max{Lπk（z，y）-Kθ), 0} = 0. （C.16）然而，由于πk（z，y-Kθ*) ≤ 0必须是：0.5≥ P（英国）≤ πk（z，y）-Kθ*)|Zk=z，Y-k=y-k） =P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） ，其中我们使用了性质（C.13）和θ*满足（C.5）和（C.6）。但这意味着：P（eUk≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-0.5≤ 0.（C.17）将（C.16）和（C.17）结合起来，与（C.15）的假设相矛盾。因此，在（C.15）的假设下，这种情况是不可能的。πk（z，y）-Kθ*) ≤ 0和πk（z，y）-Kθ) > 0. 然后我们有：max{Lπk（z，y）-Kθ） ，0}=Lπk（z，y）-Kθ).

（C.18）然而，由于πk（z，y-Kθ*) ≤ 那么它一定是：0.5≥ P（英国）≤ πk（z，y）-Kθ*)|Zk=z，Y-k=y-k） =P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） ，其中我们使用了性质（C.13）和θ*满足（C.5）和（C.6）。但这意味着：P（eUk≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-0.5≤ （C.18）和（C.19）的结合与（C.15）的假设相矛盾。因此，在（C.15）的假设下，这种情况是不可能的。πk（z，y）-Kθ*) > 0和πk（z，y）-Kθ) ≤ 然后我们有：max{Lπk（z，y）-Kθ), 0} = 0.然后：P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-0.5- max{Lπk（z，y）-Kθ） ，0}=P（eUk≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-0.5≥ τ、 其中最后一行来自P（eUk≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）- 通过（C.15）的假设和πk（z，y）的事实，0.5>0-Kθ) ≤ 0，通过（3.17）中τ的定义。4。πk（z，y）-Kθ*) > 0和πk（z，y）-Kθ) > 0. 首先注意，假设我们有：P（eUk≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-0.5- max{Lπk（z，y）-Kθ), 0}> 0≥ P（英国）≤ πk（z，y）-Kθ*)|Zk=z，Y-k=y-（k）-0.5- max{Lπk（z，y）-Kθ*), 0}.利用（C.13）和πk（z，y-Kθ*) > 0和πk（z，y）-Kθ） >0，这意味着πk（z，y-Kθ*) >πk（z，y）-Kθ). 现在让θ是θ的凸组合*θ：P（英国）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-0.5- Lπk（z，y）-Kθ） =0，对于某些选择。这样的元素总是以πk的线性形式存在≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-0.5- max{Lπk（z，y）-Kθ） ，0}=P（eUk≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-0.5- max{Lπk（z，y）-Kθ） ，0}+Lπk（z，y）-Kθ) -Lπk（z，y）-Kθ） =Lπk（z，y）-Kθ) -Lπk（z，y）-Kθ） =L |πk（z，y）-Kθ) -πk（z，y）-Kθ)|≥ LLk | |θ- θ||≥ LLk | |θ*- θ||.在最后的第三行中，我们使用了πk（z，y）的事实-Kθ*) > πk（z，y）-Kθ).

在最后一行中，我们使用了反向Lipschitz条件，在最后一行中，我们使用了θ位于θ和θ之间的事实*, 由于是这些元素的凸组合。接下来，考虑违反（C.12）。特别是对于我们的固定θ/∈ Θ假设：0.5-P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） >麦克斯{-Lπk（z，y）-Kθ） ，0}，（C.20）对于某些k和（z，y）-k） 对，其中Eukis是u的子向量，其分布是PU | Y，Z（θ）的一个成员。再次，让θ*∈ Θ*成为Θ的元素*最接近θ。还有四种情况需要考虑：1。πk（z，y）-Kθ*) ≤ 0和πk（z，y）-Kθ) ≤ 0.首先注意，假设我们有：0.5-P（eUk）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-麦克斯{-Lπk（z，y）-Kθ), 0}> 0≥ 0.5- P（英国）≤ πk（z，y）-Kθ*)|Zk=z，Y-k=y-（k）-麦克斯{-Lπk（z，y）-Kθ*), 0}.利用（C.13）和πk（z，y-Kθ*) ≤ 0和πk（z，y）-Kθ) ≤ 这意味着πk（z，y）-Kθ*) <πk（z，y）-Kθ). 现在让θ是θ的凸组合*θ：0.5-P（英国）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-k） +Lπk（z，y）-Kθ） =0，对于某些选择。这样的元素总是以πk的线性度存在。那么：0.5-P（英国）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-麦克斯{-Lπk（z，y）-Kθ), 0}= 0.5 -P（英国）≤ πk（z，y）-Kθ） |Zk=z，Y-k=y-（k）-麦克斯{-Lπk（z，y）-Kθ） ，0}+Lπk（z，y）-Kθ) -Lπk（z，y）-Kθ） =Lπk（z，y）-Kθ) -Lπk（z，y）-Kθ） =L |πk（z，y）-Kθ) -πk（z，y）-Kθ)|≥ LLk | |θ- θ||≥ LLk | |θ- θ*||.在最后的第三行中，我们使用了πk（z，y）的事实-Kθ*) < πk（z，y）-Kθ). 在最后一行中，我们使用了反向Lipschitz条件，在最后一行中，我们使用了θ位于θ和θ之间的事实*, 由于是这些元素的凸组合。2.πk（z，y）-Kθ*) ≤ 0和πk（z，y）-Kθ) > 0.