折扣随机对策中的平稳马氏完美均衡

第四节考虑了具有内生冲击的随机博弈和随机动态寡头垄断模型。第5节通过允许转换内核具有原子部分，提供了对主existenceresult的扩展。第6节讨论了我们的存在定理与文献中几个相关结果之间的关系，并证明了我们条件的极小性。第二部分是论文的结论。附录收集证据。有关详细信息，请参见第8.2.2小节“折扣随机博弈”m人折扣随机博弈可以定义为（1）状态空间，（2）每个玩家的状态相关可行动作对应关系，（3）每个玩家的分期付款，这取决于状态和动作文件，（4）每个玩家的贴现因子，（5）取决于状态和动作文件的转移概率。形式上，折扣随机对策上的m-pers被描述为：oI={1，····，m}是参与者的集合（S，S）是一个可测量的空间，代表自然状态，S是合理生成的每一次我∈ 一、 Xi是游戏者I的动作空间，这是一个非空紧度量空间，赋予了它的Borelσ-代数B（Xi）。设X=Q1≤我≤mXiand B（X）=1.≤我≤mB（Xi）。那么X是所有可能的行动计划的空间每一次我∈ 一、 玩家I在s状态下的可行行为集由Ai（s）给出，而Ai是s到Xi的s-可测量、非空且紧值的响应。

让A（s）=Qi∈每种类型的IAi∈ S.o对于每个i∈ 一、 ui:S×X→ R是玩家i的舞台报酬，带有绝对的d C（即，对于每个i∈ I和（s，x）∈ S×X，| ui（S，X）|≤ C表示某个正实数C），使得ui（s，x）对于每个x是s-可测量的∈ x，每个s在x中连续∈ S.oβi∈ [0，1）是玩家i的贴现因子。o状态的运动定律由转移概率Q:s×X×s给出→ [0, 1].也就是说，如果s是t和x阶段的状态∈ X isIt意味着S有一个可共数子集D，使得S由D中的集合生成。这个条件被广泛采用。例如，[10]、[11]和[27]中的状态空间分别被假定为compa c t度量空间、Polish空间、Polish空间的Borel子集，因此都是可数生成的。如果对于Xi的任何闭（或开）子集B，集合{S∈ S:Ai（S）∩ B 6=} 属于S；参见[1]的定义18.1。在文献中，有一些论文假设对应关系是弱可测的；例如，参见[11]和[40]。这两个可测量性概念在我们的环境中出现，因为它们是完全不同的；参见[1]中的引理18.2。请注意，支付和转移概率Q只需要在m个参与者在该阶段同时选择的行动文件图上定义，然后Q（E | s，x）是阶段t+1的状态属于集合Egiven s和x.1的概率。Q（·| s，x）（缩写为Q（s，x））是对所有（s，s）的概率度量∈ S和x∈ 十、 尽管如此∈ S、 Q（E |·，·）是S吗 B（X）-可测量。2.对于所有s和x，Q（·| s，x）对于（s，s）上的概率测度λ是绝对连续的。

让q成为S s B（X）-从S×S×X到R+的可测函数∈ S和x∈ 十、 q（·s，X）（也称为q（·s，X）或q（s，X））是q（·s，X）的相应RadonNikodym导数。为了所有的人∈ S、 映射x→ Q（·s，x）是范数连续的；也就是说，对于任何动作序列{xn}收敛到某个x，序列{Q（·| s，xn）}在总变化中收敛到Q（·| s，x）。正如在[32]中，一个随机游戏的历史一直持续到t阶段≥ 1可定义如下。我们使用stand XT来分别描述状态和行动计划instage t。设h=s∈ S、 ht=（S，x，S，…，xt）-1，st）代表t≥ 2，xj在哪里-1.∈A（sj）-1） 和sj∈ 2美元≤ J≤ t、 而这就是所有这一切的空间。我为每个阶段指定了球员的策略≥ 1，从空间Ht到参与者i的混合行动集M（Xi）的可测量映射（称为阶段t的混合行动计划），将概率1放置在每个状态st的可行行动集Ai（st）上∈ 对于任何策略文件f={fi}i∈关于球员和每个初始状态∈ S、 定义在（S×X）上的概率度量∞以规范的方式；例如，参见[7]。考虑到从s状态开始的游戏中的策略文件f，玩家i的预期收益是EfsP∞t=1βt-1UI（st、xt）, 西娅在哪里。为了简单起见，我们按照文献在整个产品空间S×X上定义它们，如[10]、[27]、[28]和[40]所示。设（S，S，λ）为概率空间。对于任意D，有限测度ν相对于λif是绝对连续的∈ S、 λ（D）=0意味着ν（D）=0。在这种情况下，存在一个（λ-几乎）唯一的λ-可积函数q，使得对于任意D，ν（D）=RDq（s）λ（ds）∈ 这种函数q被称为ν对λ的theRadon-Nikodym导数，参见[29]中的第134页。（S，S）上两个概率度量u和ν的总变化距离为ku- νkT V=supD∈S|u（D）-ν（D）|。

一系列概率测度{un}被称为收敛于总变化的概率测度u，如果limn→∞kun- ukT V=0。对于完全可分度量空间中的Borel集D，设M（D）是D上所有Borel概率测度的集。期望是关于概率测度Pfs的。如果为每个阶段指定了混合行动计划，则层的策略称为马尔可夫策略≥ 1只取决于州政府∈ 正如[32]中所强调的，马尔可夫策略的优势在于，这些策略只依赖于游戏中与支付相关的数据。在本文中，我们将重点讨论一类特殊的马尔可夫策略，即“平稳马尔可夫策略”，在这种策略中，玩家根据当前状态而不是日历时间做出决策。即，为每个阶段指定的混合行动计划≥ 1是相同的映射。静态马尔科夫策略对于折扣支付评估来说是很自然的，因为在相同状态下开始的子博弈在策略上是等价的，因为玩家在这些子博弈中拥有相同的支付。此外，平稳马尔可夫策略特别有用，因为它们易于分析。从形式上讲，游戏者i的静态马尔科夫策略是S-可测映射fi:S→ 对于每一个集，Ai fi（s）的概率为1∈ 平稳马尔可夫策略文件f称为平稳马尔可夫完美均衡ifEfs∞Xt=1βt-1UI（st，xt）！≥ E（gi，f）-i） s∞Xt=1βt-1UI（st，xt）！无论如何，我∈ 一、 s∈ 在下面，我们将从递归结构的角度考虑平稳马尔可夫完美均衡，它更容易处理。根据动态p程序设计和随机博弈的标准结果（例如，参见[8]和[40]），该公式等同于上文定义的均衡概念。

在平稳马尔可夫策略文件f中，连续值v（·，f）给出了从S到Rm的非连续有界S-可测映射，这是唯一性，它是可测的、非空的和紧值的，根据[1]中的定理18.6，对应关系有一个可测图。然后，根据[1]中的第18.27节，AI有一个可测量的选择。因此，游戏者i的平稳马尔可夫策略集对于每个i都是非空的。由以下公式vi（s，f）=ZX确定(1 - βi）ui（s，x）+βiZSvi（s，f）Q（ds | s，x）f（dx | s）。（1） 如果每个参与者i的损失预期收益通过其策略五个状态s最大化，则策略文件f是一个平稳的马尔可夫完美均衡∈ 这意味着连续值v解决了以下递归m最大化问题：vi（S，f）=maxxi∈Ai（s）ZX-我(1 - βi）ui（s，xi，x）-i） +βiZSvi（s，f）Q（ds | s，xi，x）-（一）F-i（dx-i | s），（2）其中x-土地X-我有美的含义，f-i（s）是产品概率j6=ifj（s）在状态s下除参与者i之外的所有参与者的行动空间的乘积上。3主要结果在本节中，我们证明了统计随机对策的平稳马尔可夫完美均衡的存在性。特别地，我们引入了“（可分解的）粗糙过渡核”的概念，并给出了我们的主要结果。第8分节。2.通过在随机博弈和条件期望对应之间建立新的联系，提出了一个简单的证明。在讨论条件和结果之前，我们需要一个亚σ-代数上原子的正规概念。设λ是可测状态空间（S，S）上的概率测度。设G是S.a-S-et-D的次σ-代数∈ 如果G和stod的限制σ-代数本质上相同，则称Sof正测度为G-原子。

当相关的σ-代数被用来表示信息时，一个事件D∈ S是一个G原子，简单地说，在给定实现的情况下，每个参和者的连续值的存在性和唯一性遵循标准压缩映射参数，参见[8]。例如，在随机博弈的上下文中，S代表状态空间的全部信息，而G代表由事件D的转移核q生成的信息。S和D G携带相同的信息。形式上，让Gd和Sd分别是σ-代数{D∩ D′：D′∈ G} 和{D∩ D′：D′∈ S} 关于D.赛特∈ 据说S是一个G-atomif，它有力地完成了GDis SD。定义1。如果对于S的子σ-代数G，q（·| S，x）对所有S都是G-可测的，则称折扣随机对策具有更粗糙的传递核∈ S和X∈ 十、 S没有G原子（λ以下）。如果对于S的子σ-代数G，S没有G原子（在λ下），并且对于某个正整数J，q（S | S，x）=P1，则称贴现随机对策具有可分解的粗糙传递核≤J≤Jqj（s，s，x）ρj（s），其中qjis sB（X）可联合测量，而qj（·，s，X）对于每个s是G-可测量的∈ S和x∈ 十、 qj（·，s，X）和ρjare在无原子概率空间（s，s，λ）上非负可积，j=1，注：在“较粗过渡核”条件下，是“可分解较粗过渡核”条件的特例。下面，我们提供一个简单的例子来说明“一个可分解的粗糙过渡核”的条件。例1。假设状态空间为S=[0,1]×[0,1]（分别为S=[0,1]×[0,1]），通用元素为S=（h，r）（分别为S=（h，r）），λ是单位平方上的均匀分布，作用空间为X Rl。

为了简单起见，下面构造的密度函数不依赖于x∈ 设ρ（s）=h，ρ（s）=r；q（s，s）=h+h2/3+h，q（s，s）=2h+r1+r；q（s | s）=q（s，s）=q（s，s）ρ（s）+q（s，s）ρ（s）。[17]和[34]中考虑了G原子的概念，另见[26]中的定义1.3.3。本文作者感谢一位匿名的裁判提供了这些参考资料。λ下GDin S的强完备是形式E中所有集合的集合△E、 E在哪里∈ gd和Eis是SD中的λ-null集，E△E消除对称差异（E\\E）∪ （E\\E）。当G是平凡的σ-代数{S，}, S没有G原子当且仅当λ是无原子的。如果（S，S，λ）有一个原子D∈ S在通常意义上（即，D是平凡σ-代数上的一个原子），则D自动地是S的任何子σ-代数G的G-原子。这也意味着，如果S在λ下没有G-原子，则（S，S，λ）是无原子的。很容易检查q（s，s）关于子的积分是否为1∈ 设我们是[0,1]×[0,1]和G=B（[0,1]）上的Borelσ-代数{, [0,1]}，其中b（[0,1]）是[0,1]上的Borelσ-代数。对于任何人来说∈ S、 q（·，S）和q（·，S）都是手的线性函数，不依赖于r。因此，{q（·，S），q（·，S）}S生成的σ-代数∈很明显S没有G原子。因此，密度函数q满足可分解的粗糙传递核的条件。注意函数{q（·，s）}s∈关于σ代数S是可测的。下面，我们证明了S确实是由函数集合{q（·S）}S生成的∈证据留在附录中。权利要求1。

在例1中，{q（·s）}s生成的σ-代数∈Sis S S.对动作对应、阶段效应、转移概率和转移核的可测性要求仅仅意味着σ-代数S由四组m ap ping{Ai（·）}i生成∈一、 {ui（·，x）}I∈一、 x∈十、 {Q（E |·，X）}E∈S、 x∈x和{q（·s，x）}s∈S、 x∈X.当转换核的形式为q（s | s，X）=P1时≤J≤Jqj（s，s，x）ρj（s），设G是由映射{qj（·s，x）}j生成的σ代数∈J、 s∈S、 x∈在例子1的上下文中，如果一个人处理一些S-可测量的动作对应和阶段性动作，那么映射{Ai（·）}i∈一、 {ui（·，x）}I∈一、 x∈十、 {Q（E |·，X）}E∈S、 x∈x和{q（·s，x）}s∈S、 x∈生成σ-代数S=B（[0，1]） B（[0，1]）（由{q（·| s，x）}s生成）∈S、 x∈十、 如权利要求1）所示。另一方面，由{q（·，s），q（·，s）}s生成的σ代数∈Sis G=B（[0,1]）{, [0, 1]}. 在这种情况下，由于S没有G原子，所以满足了可分解的更粗糙跃迁核的条件。特别地，“粗糙”一词表示由{q（·，s），q（·，s）}s导出的σ-代数∈给定任何非平凡事件，Sis比游戏原语中的σ-代数S粗糙。现在我们陈述本文的主要结果。如果σ-代数是可重测的最小σ-代数，则称σ-代数是由在某些完全可分度量空间中取值的一组映射生成的。例如，设D为S的子集[0,1/2]×[0,1]。然后，集合[0,1/2]×[1/2,1]在SDN中，而不是在GD中，这意味着D不是G原子。定理1。每一个具有（可分解）粗转移核的折扣随机对策都有一个平稳的马尔可夫完美均衡。4.应用在本节中，我们将介绍一些应用。

我们特别介绍第4小节。1.具有可分解粗转移核的随机对策的一个子类，其中动作和状态中的离散分量可以直接影响随机冲击的转移。这个子类中的博弈称为具有内生冲击的随机博弈。作为说明性应用，我们将在第4小节中考虑。2[30,31]中研究的动态寡头经济模型的随机版本。4.1具有内生sh-ocksEconomic模型的随机博弈是常见的，同时具有离散和连续的动作成分。例如，企业会做出离散的选择，比如市场的进入或退出，以及连续的选择，比如产品的质量和价格。在这里，我们将考虑随机博弈，其中离散的选择可能发挥独特的作用。为了达到这个目的，我们假设每个玩家∈ 一、 她的动作空间有两个组成部分，形式为Xi=Xdi×X-i、 其中XDII是表示离散选择的有限集，X-iis是一个紧凑的度量空间，可能表示其他类型的操作。设Xd=Qi∈伊克斯迪亚德X-=气∈九-i、 由于前一阶段的动作可能是当前状态的一部分，状态空间也可能有离散和连续的成分。另一方面，随机冲击形成了各种经济模型的共同特征。因此，我们假设状态空间的形式为S=Hd×H-x R.这里R模拟了随机冲击。组件HDH和HDH-分别代表一组基本参数和两个状态下基本参数的剩余部分。如第2节所述，随机博弈中的状态转移一般如[11]所述，我们也允许随机冲击进入玩家的阶段性支付。取决于前一阶段的行动和状态。

然而，如[28]中的反例所示，如果不限制转移核，随机博弈中的平稳马尔可夫完美均衡可能不存在。事实上，正如[10]、[11]和[40]中所考虑的，限制是假设随机博弈中随机冲击的传递不明确地依赖于前一阶段的行为和状态。对于状态空间为S=Hd×H的随机博弈-x R，我们的创新是允许随机冲击的传递直接取决于状态的离散分量hd和xd以及前一时期的动作。现在，我们将在第2节中正式描述具有内生冲击的阿斯查斯特博弈中的状态空间和运动定律，以及其他参数和条件。1.状态空间可以写成S=Hd×H-x R和S=Hd H- R、 其中，Hd是一个有限的设置，其电源设置为Hd，H-R是赋有Borelσ-代数H的完全可分度量空间-而且是相对的。表示H=Hd×H-H=Hd H-.2.回想一下Q:S×X×S→ [0，1]是转移概率。福斯∈ S、 x∈ 十、 设QH（·| s，X）是Q（·| s，X）在H上的边缘。在（H，H）上有一个固定的概率测度κ，对于所有s和X，QH（·| s，X）相对于κ与相应的可测Radon-Nikodym导数φ（·| s，X）是绝对连续的。对于每个人来说∈ S、 QH（·| S，x）在x.3中是范数连续的。r′的分布∈ 当期的R取决于h′∈ 本期为H，上期为hd和xd。特别是QR:Hd×Xd×H×R→ [0，1]是一个转移概率，对于alls=（hd，h-, r） ，x=（xd，x-), 还有Z∈ S、 我们有q（Z|S，x）=ZHZRZ（h′，r′）QR（dr′|hd，xd，h′）QH（dh′|S，x）。对于任何集合A，A的指示器函数1AA是一个函数，如果y，则1A（y）为1∈ A否则。4.