折扣随机对策中的平稳马氏完美均衡

对于任何hd，xd和h′，QR（·| hd，xd，h′）对于（R，R）上的无原子概率测度ν与相应的Radon-Nikodym导数ψ（·| hd，xd，h′）是ab溶质连续的。备注1。[11]中考虑的一个有噪声的随机博弈是hd和xd是单态的情况。当双方都-还有X-由于QR在前一时期完全依赖于（hd，xd），因此，当前时期的随机冲击可能完全依赖于前一时期的行动文件和国家的基本部分；例如，请参见下一小节中的随机动态寡头垄断模型。下面的Remark2考虑了Hd、Xd、H-还有X-他们都不是单身汉。下面的结果是定理1的一个简单推论。推论1。具有内生冲击的随机博弈具有可分解的粗糙转移核，因此具有平稳的马尔可夫完美均衡。证据设λ=κ ν、 G=H {, R} 。因为ν是无原子的，所以S没有G原子λ。很明显，对于所有的s=（hd，h-, r） ，x=（xd，x-), 还有Z∈ S、 我们有q（Z|S，x）=ZH×RZ（h′，r′）φ（h′，S，x）·ψ（r′|hd，xd，h′）λ（d（h′，r′），这意味着对应的跃迁kernelq（S′，S，x）=φ（h′，x）·ψ（r′，hd xd，h′）对于S=（h′，r′）。对于任何固定的xd∈ xD和hd∈ 高清，定义和S s 其中，由一个随机分量a（xdn）和另一个随机分量a（xdn）构成的博弈（xdn）由一个随机分量a（xdn）构成。[11]中的主要定理暗示了辅助随机对策G′中平稳马尔可夫完美均衡的存在性。

然而，这种均衡策略对于G′不是平稳的马尔可夫完美均衡，因为它依赖于原始博弈中前一阶段的（hd，xd）（因此不是针对G的马尔可夫策略）。为了清晰和简单，我们使用s，（h，r）和（hd，h）-, r） 可交换（类似于他们的“主要”版本）。对于任何s′=（h′，r′）∈ S、 S=（hd，h）-, r）∈ S和x=（xd，x-) ∈ 十、 φ（hd，xd）（s′，s，X）=φ（h′，s，X）·1{（hd，xd）}（高清、高清）;oψ（hd，xd）（s′）=ψ（r′|hd，xd，h′）。很明显，对于任何固定的s和x，φ（~hd，~xd）（·s，x）都是G-可测的。然后我们有q（s′|s，x）=φ（h′|s，x）·ψ（r′|h′，hd，xd）=x~hd∈高清，~xd∈Xdφ（hd，Xd）（s′，s，x）·ψ（hd，Xd）（s′）。由于hd和xd都是有限的，具有内生冲击的随机博弈是一个可分解的更粗糙的过渡核，以及一个由Th eorem1确定的平稳马尔可夫均衡。4.2具有价格竞争的随机动态寡头垄断如前一小节所述，将某些经济情况建模为具有内生冲击的随机博弈是很自然的。在本小节中，我们将考虑[30,31]中研究的动态寡头异步选择模型的随机模拟。我们证明了这种随机动态寡头垄断模型实际上是一个具有内生冲击的随机博弈。推论1允许我们证明平稳马尔可夫完美平衡点的存在性。两个企业（i=1，2）之间的竞争是在有限时间内离散发生的。每个时期都以一系列活跃在市场上的公司、前一时期的价格因素和需求冲击开始。活跃的公司会做出价格决定，而非活跃的公司会遵循上一阶段的价格。企业的利润取决于企业的价格和需求冲击。该模型是[31]中考虑的模型的扩展，其中企业可以选择移动。

相比之下，我们考虑了不活跃企业和活跃企业之间的任何可能过渡，并引入了[31，第587页]中考虑的内生需求冲击。从形式上讲，参与者的集合是I={1,2}。集合Θ={θ，θ，θ}中的元素θ表示在每个周期开始时哪些玩家是活跃的。如果θ=θ（分别为θ），则播放器1（分别为播放器2）处于活动状态；如果θ=θ，两个p层都是活动的。也就是说，我们没有把重点放在两个时段的固定短期承诺上，而是允许随机承诺（更多讨论见[30]）。与[31，第573页]的模型一样，价格空间p=p=p被假定为有限的，这意味着企业不能以小于（比如）一便士的单位设定价格。设P=P和P=P×P表示前一个iod的价格集合。设R是一组需求冲击，它是欧几里德空间Rl的一个封闭子集。然后用向量（θ，（~p，~p），r）总结市场状态。公司i的决定是提出一个价格ai∈ 圆周率。在状态（θ，（~p，~p），r）下，如果θ=θiorθ，则i项的可行动作集为π，否则为{pi}。如果一家公司是活跃的，那么它可以选择Pi中的任何价格。如果该公司处于非活跃状态，则该公司必须从上一时期开始承诺其价格。考虑到前一阶段的状态s=（θ，（~p，~p），r）和动作文件（p，p），当前阶段的状态，由（θ′，（~p′，~p′，r′）表示，确定如下：。θ′由s和（p，p）决定，遵循转移概率κ（·s，p，p）；2.~pi′=pifor i=1，2，这意味着前一个季度的行动计划在当前期间被公开观察和视为国家的一部分；3.

r′由无原子转移概率u（·|θ′，p，p，θ，~p，~p）决定，这意味着需求冲击直接由价格和企业在前一个和当前时期的相对位置决定。假设市场需求函数D:P×R→ R+和成本函数c:R→ R+都是有界的。在状态s=（θ，（~p，~p），r）下，企业利润由ui（p，p，r）给出=（pi）- c（r））D（pi，r）pi<pj；（pi）-c（r））D（pi，r）pi=pj；0 pi>pj。其中（p，p）为本期的行动计划。公司i通过贴现系数0<βi<1对未来进行贴现。我们将讨论如何将这种随机动态双寡头模型视为具有内生冲击的随机博弈。对于这两种情况，Xdi=计划X-iis是一个只有一个元素的集合。设Hd=Θ×P，H-是一个单态集，且H=Hd×H-. 设κ为H上的计数概率测度，且ν=JX（θ，θ′）∈Θ（p，p）∈P×P，（~P，~P）∈Pu（·|θ′，P，P，θ，~P，~P），其中J是P乘积空间的基数×P。那么边际测度qh（·| s，P，P）相对于κ是绝对连续的，dqr（·| h′，hd，P，P）=u（·|θ′，P，P，θ，P，~P）相对于ν是绝对连续的。由于行动空间是有限的，支付函数和转移核的连续性要求自动得到满足。因此，下面的命题来自推论1。提议1。上述动态双寡头模型具有平稳的马尔可夫分布。备注2。在上述模型中，企业的地位（活跃或不活跃）是随机确定的，因此不是一个选择变量。我们可以考虑一个动态市场模型，其中企业的头寸由内部进入/退出决策决定；例如，参见[11]、[13]和[20]。

特别是，在[11]中关于企业进入、退出和投资的应用程序中，每个企业都需要就进入/退出以及生产计划做出决策。因此，actionspace自然有两个组件。状态空间可分为三个部分：第一部分Z提供了当前期间市场上存在或不存在的公司列表；第二部分K是当前时期的可用资本存量；最后一部分R代表外部给定的随机冲击，即i.i.d，其密度与Lebesgue测度有关。这在[11]中被描述为一个有噪声的随机博弈，也可以被视为一个带有内生冲击的随机博弈，其中HDA是一个单态集，H-= Z×K。这个模型可以通过让Hd=Z，H来扩展-= K、 而收益率的转变取决于企业在之前和当前时期的地位。这种对随机冲击的依赖性可以解释为，活跃企业数量的变化以及一些企业的市场头寸转移对需求/供应冲击至关重要。例如，一家大公司退出市场的决定是一种冲击，可能会严重扭曲需求方的预期，而一家小公司的退出决定可能不会引起注意。扩展模型仍然是一个具有内生冲击的随机博弈，具有平稳马尔可夫完美均衡。5在第3节中，我们假设概率测度λ在（S，S）上是无原子的。下面，我们考虑更一般的情况，即λ可能有原子。为了保证静态马尔可夫完美平衡点的存在，我们仍然假设了可分解的粗糙转移核的条件，但仅限于无原子部分。1.存在不相交的S-可测子集SAA和SLSA∪ Sl=S，λ| sai是λ的无原子部分，而λ| sli是λ的纯原子部分。

子集SLI是可数的，每个单态{sl}都有sl∈ 当λ（sl）>0.2时，Slis S可测量。对于sa∈ 转换核q（Sa | s，x）=P1≤J≤Jqj（sa，s，x）ρj（sa）对于某些正整数j，对于每个s∈ S和x∈ 十、 其中qjis乘积是可测的，而qj（·s，X）和ρjare在j=1的无原子测度空间（Sa，SSa，λ| Sa）上是非负的和可积的，J.定义2。设G是SSa的次σ代数。贴现随机模型在atomlessIf 1和0分别代表活跃或不活跃的企业，则活跃（不活跃）企业的市场地位转移意味着其地位从1改变为0（0到1）。正如引言中所指出的，我们关于随机对策的存在性结果，即冲击分量的状态转移显式地依赖于前一阶段的参数，不能被早期的结果所覆盖。这些包括推论1，P位置1，正如我们在备注2中所建议的结果。这个假设只是为了简单。在通常的测量理论意义上，我们可以立即将我们的结果推广到SLI是最多相当多原子的集合的情况。注意，对于s中有一个元素的集合{s}，我们使用λ（s）来表示该集合的度量，而不是λ（{s}）。很明显，对于任何一个E∈ S、 转移概率Q（E | S，x）=RE∩Saq（sa | s，x）λ（dsa）+Psl∈对于任意s，SlE（sl）q（sl | s，x）λ（sl）∈ S和x∈ X.如果Ssa在λ| s下没有G原子，那么qj（·，s，X）在Saforeach s上是G-可测的∈ S和x∈ 十、 j=1，J.下列定理表明平衡存在性结果仍然成立。定理2。每个在无原子部分具有可分解粗转移核的折扣随机对策都有一个平稳的马尔可夫完美方程。6讨论在本节中，我们将讨论我们的结果与几个相关结果之间的关系。

特别地，我们证明了我们的结果涵盖了相关平衡点、噪声随机对策、具有状态独立跃迁的随机对策以及具有常数跃迁核混合的随机对策作为特例的存在性结果。我们还明确说明了为什么最近的反例不能满足我们的条件，并讨论了我们条件的最小值。相关均衡[40]证明了在我们第2节描述的设置中，折扣随机对策中存在平稳的马尔可夫完美相关均衡。[10]在强条件下得到了su ch相关平衡态的遍历性质。他们基本上假设玩家可以在每个阶段做出决定之前观察到公共随机化设备的结果。因此，新的状态空间可以被视为S′=S×L，并赋予乘积σ-代数 B和产品测量λ′=λ η、 其中，L是Borelσ-代数B和Lebesgue测度η赋予的非it区间。表示G′=S{, 五十} 。吉文斯，吉文斯∈ S′和x∈ 十、 新的转换核q′（s′|s′，X）=q（s′，X），其中s（resp.s）是s′（resp.s′）在s上的投影，q是状态空间s的原始转换核。因此，对于任何s′，q′（·s′，X）相对于G′是可测的∈ S′和x∈ 从[18]中的引理2中可以明显看出，S′没有G′-原子。有关这种公共随机化装置或“太阳黑子”的详细讨论，请参见[10]及其参考文献。然后对扩展状态空间（S′，S′，λ′）满足更粗转移核的条件，并从定理1得到静态马尔可夫完美平衡点的存在性。这种方法的缺点是“太阳黑子”与游戏的基本参数无关。

我们的结果表明，它确实可以进入Payoff u阶段，即可行行动A和转移概率Q的对应关系。具有有限行动和状态独立转移的随机博弈[42]中，他们研究了具有有限行动和状态独立转移的随机博弈。也就是说，每个i都有明确的定义∈ I和转移概率Q不直接依赖于s（用Q（·| x）表示）。让卡片（X）成为行动计划的有限集合X的基数。我们将检查这样的惊人博弈是否满足可分解的粗糙过渡核的条件。设λ为概率测度card（X）Px∈XQ（·| x）。然后，对于每个x，Q（·| x）相对于λ是绝对连续的，相应的Radon-nikodym导数由Q（·| x）（缩写为qx）表示。对于固定的x∈ 十、 设1{X}为单态集合{X}的指示函数：如果y=X，则1{X}（y）=1，否则为0。然后我们有q（s′|x）=Xy∈X{X}（y）qy（s′）。很明显，可分解的较粗过渡核的条件满足G={, S} 。然后，根据定理1，一个平稳的马尔可夫完美平衡点存在。[37]中考虑了无原子部分上具有转移概率的可分解常数转移Kernels随机对策，其转移概率为无原子部分上的若干测度的组合。具体而言，[37]中的转移概率结构如下所示。如[40]所述，Caratheodory定理的随机版本意味着，人们可以将静态马尔可夫相关均衡策略发现为平稳马尔可夫策略的随机凸组合。Sis是S的一个可数子集，S=S，Sis S S-测度中的每个点。2.

有集中在S上的无原子非负测度ujc，集中在S上的非负测度δkc和可测函数qj，bk:S×X→ [0, 1], 1 ≤ J≤ J和1≤ K≤ K、 其中J和K是正整数。每一个原子的跃迁几率Q（·| s，x）=δ（·| s，x）+Q′（·| s，x）∈ S和x∈ 十、 式中δ（·s，X）=P1≤K≤Kbk（s，x）δk（·）和Q′（·| s，x）=P1≤J≤Jqj（s，x）uj（·）。对于任意j和k，对于任意s，qj（s，·）和bk（s，·）在X上是连续的∈ 我们将证明，具有上述结构的任何随机博弈在无原子部分满足可分解的粗糙变换核的条件。在不丧失普遍性的情况下，假设ujandδkare是所有概率测度。设λ（E）=J+KP1≤J≤JuJ（E）+P1≤K≤KδK（E）对任何人来说∈ S.然后μjis相对于λ绝对连续，并假设ρjis处的th为1的Radon-nikodym导数≤ J≤ J.如果有任何问题∈ S和x∈ 十、 letq（s′|s，X）=P1≤J≤Jqj（s，x）ρj（s′），如果s′∈ sδ（s′|s，x）λ（s′，如果s′）∈ 砂λ（s′）>0；0，如果s′∈ 沙λ（s′）=0。那么Q（·| s，x）对于λ是ab连续的，Q（·| s，x）是过渡核。无原子p部分上可分解的粗糙过渡核的条件满足G={, S} 。当一个平稳的马尔可夫平衡点通过定理2存在时。噪声随机博弈[11]证明，在有噪声的随机博弈中存在平稳马尔可夫完美均衡，噪声是状态的一个组成部分，是非原子分布的，不受前一阶段状态和行为的直接影响。在一个特殊的随机博弈中，如HdMarks和HdMarks都是随机的。根据推论1，一个有噪声的随机对策有一个可分解的粗糙传递核。下面，我们直接展示了任何嘈杂的随机博弈都有一个粗糙的转换内核。

因此，噪声随机对策中平稳马尔可夫完美均衡的存在性来自定理1。这个命题的证明见附录。提议2。每一个有噪声的随机博弈都有一个粗糙的过渡核。平稳马尔可夫完美平衡点的不存在[28]给出了一个满足第2节所述所有条件的随机博弈的具体例子，该博弈没有平稳马尔可夫完美平衡点。下面将描述他们的例子。1.玩家的集合是{A，B，C，C′，D，D′，E，F}。玩家ah是动作空间{U，D}，玩家B是动作空间{L，M，R}。玩家C，C′，D，D′有相同的动作空间{0，1}。玩家E，F有行动空间{-1, 1}.3. 状态空间是S=[0，1]，具有Borelσ-代数B.4。对于任何动作文件x，leth（x）=xC+xC′+xD+xD′，其中xi是玩家i的动作。对于每个s∈ [0,1]，设Q（s，x）=（1）- s） h（x）和U（s，1）是s在[s，1]上的均匀分布∈ [0，1）。转移概率由Q（s，x）=Q（s，x）U（s，1）+（1）给出-Q（s，x））δ，其中δ是1处的狄拉克度量。下面的命题表明，在本例中，无原子部分上的可分解粗转换核的条件被违反。提议3。在[28]的例子中，跃迁概率的无原子部分Q（s，x）U（s，1）没有可分解的粗糙跃迁核。证明将在第8小节中给出。5.这里我们提供了一些直观的解释，为什么在这个例子中可分解的粗糙过渡核条件失败了。假设无原子部分Q（s，x）U（s，1）（s）∈ [0,1]）的转移概率满足关于[0,1]上勒贝格测度η的条件。