折扣随机对策中的平稳马氏完美均衡

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Stationary Markov Perfect Equilibria in Discounted Stochastic Games》
---
作者：
Wei He and Yeneng Sun
---
最新提交年份：
2017
---
英文摘要：
  The existence of stationary Markov perfect equilibria in stochastic games is shown under a general condition called \"(decomposable) coarser transition kernels\". This result covers various earlier existence results on correlated equilibria, noisy stochastic games, stochastic games with finite actions and state-independent transitions, and stochastic games with mixtures of constant transition kernels as special cases. A remarkably simple proof is provided via establishing a new connection between stochastic games and conditional expectations of correspondences. New applications of stochastic games are presented as illustrative examples, including stochastic games with endogenous shocks and a stochastic dynamic oligopoly model.
---
中文摘要：
在一个称为“可分解的”粗糙转移核的一般条件下，证明了随机对策中平稳马尔可夫完美平衡点的存在性。这个结果涵盖了相关平衡点、噪声随机对策、具有有限作用和状态无关跃迁的随机对策，以及作为特例具有常数跃迁核混合的随机对策的各种早期存在性结果。通过在随机博弈和条件期望对应之间建立新的联系，给出了一个非常简单的证明。以随机博弈的新应用为例，包括具有内生冲击的随机博弈和随机动态寡头垄断模型。
---
分类信息：

一级分类：Mathematics        数学
二级分类：Optimization and Control        优化与控制
分类描述：Operations research, linear programming, control theory, systems theory, optimal control, game theory
运筹学，线性规划，控制论，系统论，最优控制，博弈论
--
一级分类：Quantitative Finance        数量金融学
二级分类：General Finance        一般财务
分类描述：Development of general quantitative methodologies with applications in finance
通用定量方法的发展及其在金融中的应用
--

---
PDF下载：
--> Stationary_Markov_Perfect_Equilibria_in_Discounted_Stochastic_Games.pdf (371.57 KB)

2022-5-5 04:19:15 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Quantitative Applications Illustrative Expectations Optimization

折扣随机对策中的平稳马氏完美均衡*魏和+孙业能2017年1月24日摘要

这个版本主要归功于一名编辑、一名助理编辑和两名裁判的仔细阅读和解释性建议。+香港香港中文大学经济系。电子邮件：他。wei2126@gmail.com——新加坡国立大学经济系，新加坡艺术中心1号，邮编：117570。电子邮件：ynsun@nus.edu.sgContents1简介32贴现随机博弈83主要结果114应用144.1内生冲击随机博弈。144.2价格竞争下的随机动态寡头垄断。175延期206讨论217结束语278附录288.1权利要求1的证明。288.2定理1的证明。298.3定理2的证明。318.4提议2的证明。338.5提议3的证明。358.6提案4和提案5的证明。37参考文献381引言随机对策类通过允许阶段对策随一些公共可观测状态而变化，丰富了重复对策模型。它考虑了重复博弈的应用。特别是，一个随机游戏由一组有限的玩家在离散时间内展示，所有玩家都可以观察到过去的历史。在每个阶段的开始，自然会随机抽取一些状态。状态实现后，玩家选择动作，每个玩家都会收到一笔分期付款，这取决于当前状态和动作。然后游戏进入下一阶段，并绘制一个新的随机状态，其分布取决于前一个状态和选择的动作。在新状态下重复该过程。

每个玩家的总支付是阶段支付的折扣之和。随机博弈中玩家的策略是一个完整的行动计划，在玩家可能被要求采取行动的每个意外事件中，为玩家指定一个可行的行动。然而，所谓的马尔可夫战略在文献中受到了广泛关注，它只依赖于当前的状态，而不是整个过去的国家历史和行动计划。如[32]所述，马尔可夫完美均衡的概念要求参与者只使用马尔可夫策略，它体现了各种实用价值和哲学考虑，包括概念和计算的简单性。考虑到随机博弈中的相关参数与时间无关，要求马尔可夫策略也与时间无关是很自然的。基于这种策略的均衡称为平稳马尔可夫完美均衡。在平稳马尔可夫完美均衡中，任何具有相同电流状态的子博弈都将以完全相同的方式进行。所以“过去”真的是“过去”；i、 例如，过去的历史一点也不重要。从[43]开始，不可数随机对策的平稳马尔可夫完美均衡的存在性仍然是一个重要问题。

关于紧作用空间和有限/可数状态空间的随机对策中此类平衡点的存在性结果已在许多早期文献中得到证明。例如，考虑到这本书[35]（特别是关于经济应用的调查章节[4]），以及最近的调查章节[24]和[25]。具有有限作用和状态的零和博弈的结果是在具有一般状态空间的随机博弈在经济学各个领域的开创性纸质应用中建立的，在过去二十年中，这类博弈的平稳策略中均衡的存在性已被广泛研究。然而，到目前为止，除了一些特殊的随机对策类，文献中还没有得到普遍存在的结果。[10]和[40]证明了随机对策平稳马尔可夫完全相关方程的存在性。这些论文假设所有玩家都知道一个与游戏基本参数无关的加密装置。在[11]、[37]和[42]中已经证明了在状态转移上具有一些特殊结构的随机对策存在平稳马尔可夫完美均衡。论文[42]主要研究具有有限动作和状态独立转换的随机博弈。在[37]中研究了一类s-tochastic对策，其中转移概率有一组固定的可数原子，其无原子部分是无原子测度的有限组合，不依赖于状态和动作。[11]中考虑了具有特定产品结构的随机博弈，即带有噪声的随机博弈。尤其是[11]中的噪声变量是状态的一个与历史无关的组成部分，可能会影响到活动和转换。

最近，在[27]和[28]中发现，满足下面第2节所述的通常条件的随机博弈可能没有任何平稳的马尔可夫性能均衡。这意味着[43]提出了一个通用的解决方案。[15]和[44]显示了有限状态空间和紧动作空间的情况。[43]中的结果由[41]扩展到了具有有限状态空间和可数状态空间的非零和代数。可数状态空间和比较作用空间的存在性结果由[14]证明。[36]和[47]中考虑了近似平衡。有关随机遗传算法文献的详细讨论，请参见调查[24,25]。[3]、[5]、[9]、[23]、[39]、[46]研究了具有战略互补性的随机对策；有关进一步的讨论，请参见调查[45]中的第6节。[21]研究了一类相关的随机博弈，其中不同参与者之间的相互作用非常弱。在[19]中证明了在阶段支付和状态转移上具有有限作用和强可分性条件的两人博弈的平稳p-均衡的存在性。在[22]和[38]中考虑了代际随机对策中平稳马尔可夫平衡点的存在性。[2]和[6]研究了具有亚模块性的随机对策。所有这些论文都对支付函数和状态转移施加了特殊条件。[10]在更强的条件下获得了额外的遍历性质。[28]中指出了[27]相关示例中的一个错误，并在此给出了一个新示例。在新的例子中，折扣随机博弈有一个连续的状态、确切的玩家和动作，其中所有的状态转换都是绝对连续的。

由于在这个随机博弈中只有有限的多个动作，任何关于动作的连续性假设都将自动满足。存在性结果只能在某些合适的条件下成立。本文的第一个贡献是引入一个一般条件来保证随机对策中平稳马尔可夫完美平衡点的存在性。基于这个条件，我们统一了文献中的各种存在性结果，如前一段所讨论的，并且还提供了一类新的随机博弈，它对于经济应用是有用的，不能由现有的结果来处理。我们的第二个贡献是方法论。我们首次建立了s-ToCastic博弈中的均衡收益对应关系与对应关系的条件期望的一般结果之间的联系，henceare能够为平稳马尔可夫均衡的存在提供一个简单的证明。在以下段落中，我们将详细讨论我们的情况和结果。一般随机博弈中的转移概率是根据前一阶段的行为和状态定义的。如上所述，在[10]、[11]、[40]和[42]中，假设前一时期的行为和状态没有进入状态的太阳黑子/噪声/冲击分量的过渡期。因此，这些论文中转移概率的一个关键组成部分不受前一时期的行为和状态的影响。然而，带有随机冲击的动态经济模型是常见的，并且似乎可以自然而然地假设，s型冲击的转变可能内在地取决于前一阶段的一些重要因素（行动/状态）。

如[28]中的反例所示，如果对转移核没有任何限制，平稳马尔可夫完美平衡可能不存在。我们引入了一个新的模型，称为“具有内生冲击的随机博弈”，该模型允许当前时期的冲击分布直接依赖于前一时期的状态和行动的“离散”成分。为了证明一般随机对策中一个等式的存在性结果，所有这些文献都研究了一般支付，但对状态转移施加了特殊的结构。这里的转移核是指转移概率相对于状态空间上某些参考测度的Radon-Nikodym导数；RadonNikodym衍生品的定义见脚注15。与[10]和[40]中的太阳黑子思想不同，[11]的创新之处在于允许噪音成为舞台报酬的一部分。这一特点也被本研究中考虑到的具有内生冲击的仓促博弈所分享。动态经济模式中，行为和状态的许多离散成分是常见的，例如[13]和[20]中的企业进入或退出。这包括具有内生冲击的随机博弈和状态转移具有可分解特征的博弈类（例如，参见[37]和[42]），我们提出了一个称为“可分解的粗糙过渡核”的条件，即过渡核被分解为若干个组成部分的总和，每个组成部分是“更粗糙”的历史相关过渡函数和历史无关密度函数的乘积。对于具有内生冲击的随机博弈，历史无关的密度函数代表冲击。

特别是，前一阶段的状态和动作的每个离散分量自然会在过渡内核中贡献一个分量，它描述了激波分布的历史依赖性。因此，它揭示了随机冲击的分布可以直接依赖于前一时期的行为和状态的直觉。我们的理论1表明，在可分解的粗转移核条件下，随机对策具有平稳的马尔可夫完美均衡。通过在[12]关于对应关系的条件期望的凸型结果和随机对策中的平衡存在性问题之间提供一个新的联系，给出了一个非常简单的证明。作为定理1的推论，我们知道在一个具有内生冲击的随机博弈中存在一个平稳的马尔可夫完美均衡。定理2扩展了定理1，在跃迁概率中加入了原子部分，并将[37]中的主要存在结果作为一个特殊情况进行了说明。作为具有内生冲击的随机博弈的说明性应用，我们考虑[30,31]中研究的动态寡头垄断模型的随机版本。注：我们关于具有内生冲击的随机博弈和随机动态寡头垄断模型的结果不能被相关文献中的现有结果所覆盖，因为冲击分量在状态中的转移明确取决于前一阶段的参数。为了研究具有平稳结构的动态问题，标准ap计划使用具有递归结构的简化问题，其中玩家的支付由舞台支付和玩家的预期连续值的凸组合根据Bellman方程给出。

为了解决存在的问题，进一步的应用将在备注2中讨论。对于一个随机博弈问题，通常需要使用一个由状态变量s和连续值函数v参数化的一次性辅助博弈，其中纳什均衡集m payoff s用Pv（s）表示。虽然相对应的PV（·）是闭值的，并且在v方面是连续的，但它一般不是凸值的。因此，每个理想的凸性、封闭性和上半连续性属性都将包含连续值函数空间中的对应关系R，其在连续值函数V处的值是对应关系Pv（·）的可测量选择的集合。因此，经典的Fan-Glicksberg不动点定理（见[1]中的推论17.55）不适用于对应关系R。请注意，对应关系的x点将对应于随机博弈的平稳马尔可夫完美均衡。另一方面，R的凸包对应co（R）不具有上述理想性质。因此，co（R）有一个固定点，对应于[10]和[40]中所述的随机博弈的平稳马尔可夫完美相关均衡。ou r证明的关键洞见是，在可分解的粗糙过渡核条件下，通过显示co（r）和r的条件期望的等价性，可以放松这种强加的凸性限制，这导致对应关系r的固定点（而不是co（r））。从技术角度来看，我们对这种“一次性游戏”方法的最低条件也得到了证明，即条件如第4和第5点所示是严格的。论文的其余部分组织如下。第二节给出了折扣随机对策的一般模型。第3节给出了主要结果。