策略转换和学习最优策略

极小极大（超（子）态∈ S） 策略是使上包络最小化的策略，而最大化（在（子）状态下）的策略∈ S） 政策选择是使低层发展最大化的政策。能够为政策的可学习性以及我们对eME规则和δ的事后分析提供充分的条件-水平集。包络函数本身可能不是策略变换，但在某些情况下，它们可以被解释为策略变换I[~n]（γ）上的尖锐边界，即变量γ中的逐点边界。正是在这里，我们在识别文献中做出了贡献，表明包络函数可以表示为由策略变量γ参数化的优化问题的值函数∈ Γ. 结果是在误差界理论和优化文献中精确罚函数的假设下得出的，由此产生的优化问题与平衡约束的数学程序或MPEC密切相关。我们的优化方法的一个显著好处是，我们可以在不需要首先估计模型参数向量θ的完整识别集的情况下构建策略转换的边界。这与限制反事实量的典型方法不同，反事实量首先估计已识别的结构参数集，然后对已识别集中参数向量的每个可能值进行计算。我们的结果的一个直接含义是，在任一点或部分识别的模型中，如果决策者的反事实利益量是某些函数的政策转换，那么在执行反事实和做出政策选择时，所有结构参数都可以被视为干扰参数。

这些识别结果可能具有实质性的单独利益。最后，在全文中，我们讨论了一个同时离散选择和一个程序评估示例，以说明该程序的可能应用。同时离散选择示例参见Dolgopolik（2016），了解精确惩罚函数及其与误差界的关系，参见Luo等人（1996），了解教科书中的MPECs处理方法。将经验入门游戏（如Tamer（2003））和社会互动的经验模型（如Brockand Durlauf（2001））作为特例，并已成为部分识别文献中不完整模型的典型例子。第二个项目评估示例遵循Heckman和Vytlacil（1999）以及Heckman和Vytlacil（2005）中的设置。这个例子最近引起了部分识别文献的关注（例如Mogstad等人（2018年）和Mouri fie and Wan（2020年））并被包括在内，以显示我们程序的广度。1.1相关文献本论文基于各种不同文献的结果，包括结构模型中的反事实、部分识别和随机集理论、决策理论和最优政策选择，以及计算和统计学习理论的最新研究成果。我们在部分识别模型中建模和反事实的方法扩展了计量经济学中使用随机集理论的文献，包括Beresteanu等人（2011）、Galichon和Henry（2011）、Beresteanu等人（2012）和Chesher和Rosen（2017a）。如引言中所述，我们的一般环境与约万诺维奇（1989年）以及最近的切希尔和罗森（2017a）中的描述相似，这反过来又是inKoopmans等人（1950年）和Hurwicz（1950年）等提出的经典计量经济建模基础的延伸。

随机集理论的使用很方便，以便将该方法应用于更广泛的模型。特别是，我们的框架适用于可能（或可能不）不完整的模型，这是部分识别文献中的一类重要模型。现在，不完整的模型数量众多，包括具有多重平衡的入门游戏（Bresnahan and Reiss（1990）、Bresnahan and Reiss（1991）、Tamer（2003）、Jia（2008）、Cilibertoet al.（2018））；英国拍卖（Haile and Tamer（2003）、Chesher and Rosen（2017b））；具有内生回归或社会互动的离散选择模型（Chesher and Rosen（2012）、Chesher et al.（2013）、Chesher and Rosen（2014））；匹配模型（Uetake和Watanabe（2019））；《友谊网络》（宫内（2016））；以及选择和治疗效果模型（Mouri Fie等人（2018年），Russell（2019年））。从政策选择的角度来看，我们对政策决策问题的总体态度是新的。然而，现在关于计量经济学中统计处理规则的文献越来越多，包括曼斯基（2004年）、平野和波特（2009年）、斯托耶（2009年）、斯托耶（2012年）、张伯伦（2011年）、泰特诺夫（2012年）、卡西（2016年）、北川和泰特诺夫（2018年）以及姆巴科普和塔博德·米汉（2019年）的论文。一般来说，这些论文可以根据（i）他们是否是常客/贝叶斯，（ii）他们是否采用单一样本或渐进方法，以及（iii）他们是否考虑不确定性或歧义（或“奈特不确定性”）下的决策问题进行分析。在目前的论文中，我们采取了一种频繁的、有限样本的方法来解决模糊性下的决策问题。然而，与以前属于同一类的论文不同，我们评估统计决策规则的方法不同于Wald（1950）提出的程序。

在不存在未知子状态引起的歧义的情况下∈ S、 我们的过程与归纳推理的框架非常相似，归纳推理在计算机科学文献中非常流行。这种学习模式最初由Valiant（1984）在一篇开创性论文中提出，并因此获得了图灵奖。Angluin和Laird（1988）首次使用了“大概大致正确”这个名称，他们将模型扩展到了噪声数据的情况。PAC模型及其扩展现已成为机器学习理论基础中的主要学习模型；明确这种联系的有效教科书处理方法包括卡恩斯等人（1994年）、瓦普尼克（1995年）、瓦普尼克（1998年）、维迪亚萨加尔（2002年）、沙列夫·施瓦茨和本·戴维（2014年）以及莫赫里等人（2018年）。我们的具体分析与Haussler（1992）提出的PAClearning模型的决策论推广以及Vapnik（1995）考虑的一般学习环境密切相关。其他研究各种机器学习环境下可学习性的必要和有效条件的重要论文包括Blumer等人（1989年）、Kearns和Schapire（1994年）、Bartlett等人（1996年）、Alon等人（1997年）和Shalev Shwartz等人（2010年）等。我们在这里为可学习性提供充分条件的工作大量借鉴了这篇文献。然而，与政策转变的可能部分识别相关的额外模糊性使我们的设置与统计学习文献不同，我们将这种模糊性概念纳入PAC框架似乎是新的。

我们的许多结果适用于（随机）约束下的风险最小化问题，因此可能对机器学习的研究人员有不同的兴趣。令人惊讶的是，我们不知道有人试图将统计决策理论的文献与统计学习理论的文献正式联系起来。一方面，Wald styleanalysis的特性（在这一点上）得到了更好的理解；例如，参见Stoye（2011）对Wald的频率最大化过程的公理化。另一方面，我们发现PAC风格的标准更适合于特定决策规则的事后信息分析，主要是因为它与度量集中现象有关，因此更适合使用集中不等式进行分析。与统计学习文献的联系渗透到我们的理论结果中。我们的工作与比率型经验过程的研究（如金恩等人（2003年）、金恩等人（2006年））以及风险最小化问题中的定点方程和收敛速度的研究（如马萨特（2000年）、科尔钦斯基和潘琴科（2000年）、布斯凯等人（2002年）、巴特利特等人（2005年）和科尔钦斯基（2006年））有关。总体而言，我们的工作与科尔钦斯基（2006）的工作以及随后的教科书处理科尔钦斯基（2011）的工作关系最为密切。正如我们将在某些决策规则的事后分析一节中看到的，我们方法的一个关键组成部分是使用Rademacher过程来构造某些重要经验过程的数据相关边界。这样做的好处是，决策者可以避免依赖底层函数类的任何特定属性，这些属性通常很难验证，因此无论相关的策略空间是否可学习，都是适用的。

此外，使用依赖于数据的复杂性度量，如经验Rademacher复杂性，确保我们的有限样本Kitagawa和Tetenov（2018年）以及Mbakop和Tabord Meehan（2019年）与统计学习文献有一定的联系。然而，他们评估统计处理规则的方法不同于PAC模型所考虑的方法。豪斯勒（Haussler，1992）的一篇综述性论文中对与决策理论的联系进行了一些讨论，尽管讨论非常有限，与沃尔德式的频繁决策理论没有联系。据我们所知，这仍然是一个公开的问题。与其他方面相比，担保没有那么保守。这一想法似乎是由Bartlettet al.（2002）和Koltchinskii（2001）独立提出的，并在Koltchinskii（2006）中进一步发展。另见Koltchinski（2011）第4.2节。Boucheron等人（2005年）和Koltchinskii（2011年）对过度风险界限及其在分类问题中的应用进行了综述，并介绍了不稳定学习理论。Ekeland等人（2010年）、Schennach（2014年）、Torgovitsky（2019年）和Li（2019年）的工作与本文中研究政策转换包络函数的识别部分密切相关。Ekeland等人（2010）的论文侧重于模型规格测试，并允许预测模型仅对力矩条件下不可观测数据的分布具有半参数限制。Schennach（2014）为具有依赖于潜在变量的矩条件的模型提供了一个通用框架，并表明可以使用最不利的熵最大化分布，在不损失信息的情况下，将潜在变量从矩条件中整合出来。

Torgovitsky（2019）表明，当潜在变量分布的限制具有某种结构时，部分识别参数的函数的清晰识别集可以用优化问题来表征。最后，Li（2019）表明，结构参数和反事实参数的清晰识别集可以使用一种方法来构建，该方法基本上可以从力矩条件中提取潜在变量。在当前的论文中，我们使用了与Li（2019）相关的想法，以消除反事实边界问题中的不可观测项。然而，与李（2019）相比，我们对政策转变的关注意味着我们的公式不需要用连续的力矩条件替换有限数量的力矩条件。此外，我们的方法不要求决策者计算完整的结构参数集。我们针对两个参数优化问题对策略转换边界的具体描述，旨在符合策略空间可学习性的理论分析，以及eME规则和δ的分析-水平仪。因此，我们的特定边界方法是新的。最后，或许也是最重要的一点，我们的重点主要是利用边界来研究政策选择问题，Ekeland等人（2010年）、Schennach（2014年）、Torgovitsky（2019年）或Li（2019年）都没有考虑到这一点。在政策决策问题中，至少有一些结构参数可能被视为有害参数的想法至少可以追溯到Marshak（1953年）。

Heckman（2010）将这种想法称为“Marshak\'sMaxim”从高层次上讲，本文的识别部分让人想起Ichimura和Taber（2000），他们讨论了一种在治疗效果文献中进行事前政策实验的方法，无需估计结构参数，也无需指定误差分布。在Syrgkanis等人（2018年）、Tebaldi等人（2019年）和Kalouptsidi等人（2019年）中可以找到更多未首先估计（已识别的）结构参数的反事实分析示例。论文的其余部分将按以下步骤进行。第2节介绍了符号和主要定义Ekeland等人（2010）的论文与同一作者的一系列其他论文相关，即Galichon and Henry（2006）、Galichon and Henry（2009）和Galichon and Henry（2011）。和假设，除了描述决策环境和介绍激励示例。重要的是，第2节介绍了政策转换，并定义了政策空间的可学习性概念。如上所述，本文的理论结果在很大程度上取决于策略转换的上下包络函数的性质。因此，在第3节中，我们定义了策略变换的识别集，并给出了表征其上下包络的主要识别结果。根据这一结果，第4节考虑了政策选择问题，为可学习性提供了充分的条件，第5节对特定决策规则的表现进行了事后分析。第6节结束。所有证据都可以在附录中找到。注：给定一个波兰空间（一个完整的可分离度量空间）的子集X，我们使用B（X）来表示Borelσ-X上的代数（注意X上的拓扑是由度量导出的拓扑）。

我们通常要么隐式保留度量，要么用函数d:X×X表示通用度量→ R.对于两个可测空间（X，B（X））和（X，B（X）），乘积σ-用B（X）表示的X×Xis上的代数B（X）。如果X：(Ohm, （A）→ （X，B（X））是定义在概率空间上的随机变量(Ohm, A、 P），然后我们用PXtodenote表示由X诱导的概率测度；也就是说，对于任何一个∈ B（X），PX（A）：=P（X-1（A））。我们让σ（X） A表示最小次σ-使X成为可测函数的代数。此外，我们还解释了px | X（X∈ A | X=X）作为正则条件概率度量。在许多情况下，我们不会明确区分随机变量X（比如PX）的真实分布，或者随机变量X（比如PX）的其他分布，而是将区别留待上下文解决。为了保持旋转干净，我们在组合列向量时将省略转置；也就是说，如果vand vare使用两个列向量，而不是写v=（v>，v>）>我们改为写v=（v，v），在这里，除非另有规定，否则我们理解为是一个列向量。重要的是，在本文中，我们使用了 = -∞ 和inf = +∞. 最后，我们将在正文中基本上忽略可测量性问题，但我们注意到，这些问题在我们的框架中并非无关紧要，在附录B.2.1.2 Methodology2中进行了讨论和解决。1序言中提到，环境的描述与约万诺维奇（1989）和切希尔与罗森（2017a）的描述密切相关，这反过来又是库普曼斯等人（1950）和赫维茨（1950）等人提出的计量经济学模型的经典基础的延伸。然而，当它们发生时，会指出一些差异。本文还将大量使用随机集理论。

随机集理论在开发部分识别模型的方法方面发挥了重要作用，例如Beresteanu等人（2011）、Galichon和Henry（2011）、Beresteanu等人（2012）和Chesher和Rosen（2017a）等人的贡献。在本文中，我们还将使用随机集理论，因为它自然地将完整计量经济模型的许多特征推广到不完整模型（见Chesherand Rosen（2017a））。由于完整模型可以被视为不完整模型的特例，关注不完整模型将使我们能够构建一种适用于更广泛类别的计量经济学模型的方法。为简洁起见，随机集理论中的一些重要定义，包括效应可测性的概念、随机集的定义、随机集的分布以及从随机集中选择的概念，已移至附录a。本节将假定对这些概念有一些实用知识。我们首先指定对事实和反事实领域的限制。首先，我们将定义概率空间，并定义两个域共有的未观察到的随机变量和参数。假设2.1。存在固定概率空间(Ohm, A、 P）和一个随机元素U：(Ohm, （A）→（U，B（U））其中U是紧致的第二可数Hausdorff空间。此外，参数空间Θ是带有σ的非对称空间-代数B（Θ）。修正整个概率空间代表着与计量经济学中关于部分识别和随机集理论的一些现有文献（例如Galichon and Henry（2011），Chesher andRosen（2017a））不同。我们这样做的原因主要是概念性的。本文关注的是反事实，而反事实自然涉及事实和反事实状态之间的单位比较。