马尔可夫决策过程中的随机比较静力学

非正式地说，这些模型的平稳平衡由一组参数e、一个策略函数g和S上的概率测度λ组成，因此（i）g是给定参数e的最优平稳策略，（ii）λ是给定参数e的状态动态P（S，B）的平稳分布，和（iii）参数e被确定为λ和g的函数。在λ（B）=ZSp（S，g（S），B）λ（ds）的意义下，S上平稳概率测度λ的存在性和唯一性∈ B（S）被广泛研究。现在，我们导出了与平稳分布λ如何随过渡函数p变化有关的比较静力学结果。用λ表示最小平稳y分布，用λ表示最大平稳分布。命题4假设S是R.（i）中的紧集，设Ep，ibe是所有单调转移概率函数p的集。假设G（S，p）在S×Ep，iwhere Ep，iis上递增（S，p），并赋予其阶然后，最大平稳分布λ和最小平稳分布λ在Ep，I上的p中增加，并从st.（ii）设Ep，Ic是所有单调和保凸转移概率函数p的集合。假设g（s，p）在s中是凸的，i s在s×Ep，Ic上（s，p）递增，其中Ep，Ics具有CX。然后，最大平稳分布λ和最小平稳分布λ在Ep，Ic上的p中相对于ICX。我们将命题4应用于标准研发平稳平衡模型（Huggett，1993）。存在质量为1的事前相同制剂的连续统。当代理人的收入发生变化时，他们会解决消费储蓄问题。

每个代理人的支付函数由r（s，a）=u（s）给出- a） 其中s表示代理的当前财富h，a表示代理的储蓄，s- a是代理的当前消耗量，u是代理的效用函数。因此，当代理使用- a、 其单期付款由U（s）提供- a） 。回想一下，如果一个效用函数的绝对风险厌恶a（c）是双曲线的，那么它属于双曲线绝对风险厌恶（HARA）效用函数。也就是说，如果平稳均衡模型被用来研究广泛的经济现象。例如，行业均衡模型（Hopenhayn，1992）、异构代理宏观模型（Huggett，1993）和（Aiyagari，1994）等等。例如，见Hop e nhayn和Prescott（1992），Kamihigashi和Stachurski（2014），andFoss等人（2018）。最大固定点的存在性由Tar-ski固定点定理保证。更多详细信息，请参见附录和Topkis（2011）。为简单起见，我们假设所有代理都是事先相同的，即代理具有相同性函数和转移函数。该模型可以推广到事前异质性的情况。A（c）：=-u′（c）u′（c）=c的ac+B>-文学士。我们假设u在HARA类中，并且效用函数的导子u′是凸的。储蓄仅限于单一无风险债券。当代理人储蓄一定金额时，他们下一期的财富由Ra+y给出，其中R是无风险债券的回报率andy∈ Y=[Y，Y] R+是代理商下一期的劳动力或收入。代理人的劳动收入是一个具有ν定律的随机变量。

因此，转移函数由p（s，a，B）=ν{y给出∈ Y：Ra+Y∈ B} 。代理可以从中选择其储蓄水平的集合由Γ（s）=[s，min{s，s}]给出，其中s<0是借款限额，s>0是储蓄上限。平稳均衡由概率测度λ在S=[S，（1+r）S+y]、收益率r和平稳储蓄政策函数g上给出，使得（i）g是最优的给定r，（ii）λ是平稳分布g，即λ（B）=RSp（S，g（S），B）λ（ds），以及（iii）市场明确，储蓄的总供给等于储蓄的总需求，即Rg（S）λ（ds）=0。如果代理的效用函数在HARA类中，那么储蓄政策函数G（s）是凸的且是递增的（参见Jensen（201 7））。很容易看出，p是凸性保留且单调的。此外，当u′是凸的，则策略函数g（s，p）在p中相对于凸阶递增，即g（s，p）≥ g（s，p）当ERPCXp（见灯（2 018a））。因此，建议4的第（ii）部分暗示，当劳动力收入不确定性增加时（即pCXp），最高部分均衡（R固定时）财富不平等和最低部分均衡财富不平等增加（即λICXλ）。本文研究了在马尔可夫决策过程中，当前和未来的最优决策是如何随着优化问题参数的变化而变化的。我们提供了关于马尔可夫决策过程原语的简单有效条件，以确保比较静态结果和随机比较静态结果。我们展示了运筹学和经济学不同领域的各种模型满足我们的充分条件。6附录6.1第3.1节定理1的证明。对于t=1，由于u=u，结果微不足道。假设utDut对于某些t∈ N

首先注意，对于每个可测函数f:S→ R和i=1，2我们有zsf（s′）ut+1i（ds′）=zsf（s′）Pi（s，ds′）uti（ds）。（2） 要了解这一点，首先假设f=1b，其中B∈ B（S）和1是集合B的指示符函数。我们有zsf（S′）ut+1i（ds′）=ut+1i（B）=ZSpi（S，g（S，ei），B）uti（ds）=zsb（S′）pi（S，g（S，ei），ds′）uti（ds）=zsf（S′）pi（S，ds′）uti（ds）。一个标准参数表明等式（2）适用于每个可测函数f。现在，假设f∈ D、 我们有zsf（s′）ut+1（ds′）=zsf（s′）P（s，ds′）ut（ds）≥ZSZSf（s′）P（s，ds′）ut（ds）≥ZSZSf（s′）P（s，ds′）ut（ds）=ZSf（s′）ut+1（ds′）。第一个不等式出现在f之后∈ D、 Pis保D和utDut.第二个不等式自P（s，·）起DP（s，·）。因此，ut+1Dut+1。我们得出以下结论：tutDut对于所有t∈ N、 推论1的证明。我们证明了P（s，·）是保I的所有s的stP，·）∈ S、 让f:S→ R是一个增函数，设e e、 因为p是单调的，g（s，e）在s中是递增的，如果s≥ THENZSF（s′）p（s，g（s，e），ds′）≥ZSf（s′）p（s，g（s，e），ds′）。因此，Pis I-保持。让我们∈ S、 自g（S，e）≥ g（s，e）和p是单调的，我们有zsf（s′）p（s，g（s，e），ds′）≥ZSf（s′）p（s，g（s，e），ds′）。因此，P（s，·）stP（s，·）。根据定理1，我们得出结论：ut所有t的stut∈ N、 我们有zsg（s，e）ut（ds）≥ZSg（s，e）ut（ds）≥ZSg（s，e）ut（ds），它证明了Corolla r y。定理2的证明。（i） 假设pstp。我们证明了保I和P（s，·）所有s的stP，·）∈ S、 让f:S→ R是一个递增函数。假设s≥ s、 自g（s，p）≥ g（s，p）和pis单调，我们有zsf（s′）p（s，g（s，p），ds′）≥ZSf（s′）p（s，g（s，p），ds′），证明了Pis的I-保持性。让我们∈ S、 由于pis单调，g（S，p）≥ 所有s的g（s，p）∈ S、 和pstpwehaveZSf（s′）p（s，g（s，p），s，ds′）≥ZSf（s′）p（s，g（s，p），ds′）≥ZSf（s′）p（s，g（s，p），ds′），证明了p（s，·）所有s的stP，·）∈ S、 根据定理1，我们得出结论：ut所有t的stut∈ N

由于g（s，p）在增加，我们有zsg（s，p）ut（ds）≥ZSg（s，p）ut（ds）≥Zg（s，p）ut（ds），证明了第（i）部分。（ii）假设pCXp。我们证明了Pis-ICX保持和P（s，·）ICXP适用于所有∈ S、 让f:S→ R是一个增凸f函数。让我们，让我们∈ S和Sλ=λS+（1- λ） 稳定部队0≤ λ ≤ 我们有λZSf（s′）p（s，g（s，p），ds′）+（1）- λ） ZSf（s′）p（s，g（s，p），ds′）≥ZSf（s′）p（sλ，λg（s，p）+（1- λ） g（s，p），ds′）≥ZSf（s′）p（sλ，g（sλ，p），ds′）。自pis凸性保持以来，出现了第一个不等式。第二个不等式是g（s，p）凸且不凸的。因此，RSf（s′）P（s，ds′）是凸的。第（i）部分显示t hatRSf（s′）P（s，ds′）正在增加。我们得出结论，Pis ICX保持不变。修复s∈ S、 我们有zsf（S′）p（S，g（S，p），ds′）≥ZSf（s′）p（s，g（s，p），ds′）≥ZSf（s′）p（s，g（s，p），ds′）。自g（s，p）之后出现了第一个不等式≥ g（s，p）和pis单调。第二个不等式出现在p之后CXp。我们得出结论，P（s，·）ICXP（s，·）。根据定理1，我们得出结论：utICXut适用于所有t∈ N、 因为g（s，p）是递增的和凸的，所以我们有zsg（s，p）ut（ds）≥ZSg（s，p）ut（ds）≥Zg（s，p）ut（ds），证明了第（ii）部分。6.2第3.2节结果的证明为了证明定理3，我们需要以下两个结果：命题5假设假设假设1成立。当（i）h（s，a，f）是一个递增函数时，其差值就会增大。（ii）G（s）上升。特别地，g（s）=max g（s）是一个增量。（iii）T f（s）=最大值∈Γ（s）h（s，a，f）是一个递增函数，只要f是递增函数。V（s）是一个递增函数。证据见Topkis（2011）中的定理3.9.2。提案6 Let（E，) 是偏序集。假设Γ（s）在上升。如果h（s，a，e，f）在（s，a），（s，e）和（a，e）中的差异越来越大，则f（s，e）=maxa∈Γ（s）h（s，a，e，f）在（s，e）中的差异越来越大。证据

参见Hopenhayn和Prescott（1992）中的引理1或Lovejoy（198 7）中的引理2。定理3的证明。（i） 设E=（0，1）是所有可能的贴现因子的集合，赋予标准r d顺序：β≥ 如果β大于或等于β，则为β。假设β≤ β. 让f∈ B（S×E），并假设f在（S，β）中的差异越来越大，在S中的差异越来越大。让a≥ a、 由于f的差异越来越大，函数f（s，β）- f（s，β）在s中增加。因为p是单调的，所以我们有zs（f（s′，β）- f（s′，β））p（s，a，ds′）≥ZS（f（s′，β）- f（s′，β））p（s，a，ds′）。重新排列最后一个不等式yieldsZSf（s′，β）p（s，a，ds′）-ZSf（s′，β）p（s，a，ds′）≥ZSf（s′，β）p（s，a，ds′）-ZSf（s′，β）p（s，a，ds′）。因为f在s中是递增的，p是单调的，所以最后一个不等式的右手边和左手边都是非负的。因此，将最后一个不等式的左侧乘以β，将最后一个不等式的右侧乘以β，可以保持它们的优良性。将t加到最后一个不等式r（a，s）的每一边- r（a，s）屈服强度SH（s，a，β，f）- h（s、a、β、f）≥ h（s、a、β、f）- h（s，a，β，f）。也就是说，h在（a，β）中的差异越来越大。类似的ous论证表明h在（s，β）中的差异越来越大。命题5保证h在s（s，a）中的差异越来越大，而T f在s中的差异越来越大。命题6意味着T f的差异越来越大。我们得出结论，对于ll n=1，2，3。。。。，Tnf具有越来越大的差异，并且在s中增加。从标准的动态编程ar guments来看，Tnf均匀地收敛到V。由于具有递增差异且在s中递增的函数集在一致收敛下是闭合的，因此vh具有递增差异且在s中递增。从上述相同的参数来看，h（s，a，β，V）在（a，β）中具有递增差异。Topkis（1978）中的定理6.1暗示，对于所有s，g（s，β）在β中增加∈ S

命题5意味着对于所有β，g（s，β）在s中递增∈ E、 我们现在应用推论1得出结论，Et（g（β））≥ 所有t的Et（g（β））∈ N、 （ii）该证明与第t（i）段的证明相似，因此省略。6.3定理4第3.3节中结果的证明。支持函数f∈ B（S×Ep）在S中是凸的和递增的，并且在EPI具有随机优势序的情况下，其差异越来越大圣·L·vstv。请注意，当且仅当m为issupermodular时（见pkis（1978）中的定理3.2），（s，a），（s，）和（a，）中m的差异越来越大。从凸函数和增函数与凸函数、增函数和超模函数的组合是凸的和超模的（见Topkis（2011）），函数f（m（s，a，），p）在（s，a）中是凸的和超模的∈ 五、 由于凸性和超模性在积分下保持不变，函数rf（m（s，a，），p）V（d）在（s，a）中是凸的和超模的。因此，h（s，a，p，f）=r（s，a）+βZVf（m（s，a，），p）v（d）（3）在（s，a）中是凸的和超模的，作为凸函数和超模函数的和。这意味着T f（s，p）=maxa∈Γ（s）h（s，a，p，f）是凸的。因为h在sit中增加，所以T f（s，p）在s中增加。注意，f或任何增加函数f:s→ R我们有zsf（s′）p（s，a，ds′）=ZVf（m（s，a，））v（d）≥zff（m（s，a，））v（d）=ZSf（s′）p（s，a，ds′），so pstp。修复a∈ A、 让我们≥ s、 由于f（m（s，a，），p）是（s，）中的超模，函数f（m（s，a，），p）- f（m（s，a，），p）在中增加。我们有zv（f（m（s，a，），p）- f（m（s，a，），p）v（d）≥ZV（f（m（s，a，），p）- f（m（s，a，），p）v（d）≥ZV（f（m（s，a，），p）- f（m（s，a，），p）v（d）。第一个不等式自vstv。第二个不等式来自于这样一个事实，即m在s中增加，而f的差异越来越大。

添加r（s，a）- r（s，a）到最后一个不等式的每一边意味着h在（s，p）中的差异越来越大。同样，我们可以证明h在（a，p）中的差异越来越大。命题6意味着T f的差异越来越大。我们得出结论，对于所有n=1，2，3。。。。，Tnf呈凸形，在s中增加，差异也越来越大。从标准的动态规划参数来看，Tnf一致收敛于V。由于在一致收敛条件下，具有递增差异且凸且在s中递增的函数集是闭合的，因此V具有递增差异且凸且在s中递增。从与上述相同的论点来看，h（s，a，p，V）在（a，p）和（s，a）中的差异越来越大。Topkis（1978）中定理6.1的一个应用意味着t g（s，p）≥ g（s，p）表示所有s∈ S和g（S，p）在S中增加。t ha t m增加的事实意味着p不存在。我们现在应用推论1得出结论Et（g（p））≥ 所有T的Et（g（p））∈ N、 6.4命题2第4.2节和第4.4节结果的证明。（i） 让f∈ B（S）是一个凸函数。D（s，a）在s中是凸的，并且在积分下保持凸性，这意味着函数D（s，a）+βRf（γs+（1- γ） a）v（dγ）在s中是凸的。因此，由T f（s）=maxa给出的函数T f（s）∈AaD（s，a）+βZf（γs+（1- γ） a）v（dγ）在s中是凸的。一个标准的动态规划参数（见命题3的证明）表明值函数v是凸的。V的凸性意味着对于所有γ，函数V（γs+（1- γ） a）在（s，a）方面的差异越来越大。由于积分下保持了越来越大的差异，RV（γs+（1- γ） a）v（dγ）在（s，a）中的差异越来越大。由于D（s，a）是非负的并且具有越来越大的差异，因此函数aD（s，a）具有越来越大的差异。

因此，函数d（s，a）+βZV（γs+（1- γ） a）v（dγ）的差值随着差值的增大而增大，作为函数之和。现在，Topkis（1978）中的PPLYTherms 6.1得出结论，g（s）正在增加。（ii）遵循fr om推论1。（iii）遵循与定理3证明中的论证相似的论证。我们现在介绍一些符号和证明命题4所需的结果。回想一下，一个偏序集（Z，≥) 据说这是一个关于所有x，y∈ Z、 sup{x，y}和inf{y，x}存在于Z.（Z，≥) 对于所有非空子集Z′，是一个完全格 Z元素sup Z′和inf Z′存在于Z中。关于固定点的比较，我们需要以下Pro位置。有关证明，请参见Topkis（2011）中的推论2.5.2。命题7假设Z是一个非空完备格，E是一个偏序集，f（Z，E）是从Z×E到Z的递增函数。那么f（Z，E）的最大点和最小固定点E存在，并且在E上递增。命题4的证明。设P（S）为S上所有概率测度的集合。部分有序集（P（S），st）和部分有序集（P（S），ICX）是完全点阵 R是紧凑的（见M¨uller和Scarsini（2006））。（i） 定义运算符Φ：P（S）×Ep，i→ P（S）乘以Φ（λ，P）（·）=ZSp（S，g（S，P），·）λ（ds）。定理2的证明表明Φ是P（S）×Ep，i上的一个增函数，关于也就是说，对于p，p∈ Ep，iandλ，λ∈ P（S）我们有Φ（λ，P）stΦ（λ，p）每当pstpandλstλ。命题7暗示了结果。（ii）该证明类似于第t（i）段的证明，因此省略。参考Acemoglu，D.和M.K.Jensen（201 5）：“大型动态经济体中的稳健比较静态”，《政治经济学杂志》，123，587–640（20-18）：“行为新古典增长模型中的均衡分析”，工作论文。Adlakha，S.和R。

Johari（2013）：“具有战略互补性的动态博弈中的平均场均衡”，《运营研究》h，61971–989。Aiyagari，S.R.（1994）：“未保险的特殊风险和总储蓄”，《经济学季刊》，109，659–684。Amir，R.、L.J.Mirman和W.R.Perkins（1991）：“一部门非经典增长：最优条件和比较动力学”，《国际经济评论》，625–644。Antoniadou，E.（2007）：“消费者问题的比较静态”，经济理论，31189-203。Athey，S.（2002）：“不确定性下的单调比较静态”，《经济学季刊》，117187-223。Balbus，L.、K.Reffett和L.Wozny（2014）：“具有战略互补性的随机博弈中Markovequilibria的建设性研究”，《经济学杂志》，150815-840。Barthel，A.-C.和T.Sabarwal（2018）：“方向单调比较静力学”，《经济理论》，66557-591。Bertsekas，D.P.和S.E.Shreve（1978）：随机最优控制：离散时间案例，纽约学术出版社。Bommier，A.和F.L.Grand（2018）：“动态环境中的风险规避和预防性储蓄”，管理科学。Dziewulski，P.和J.Quah（2019）：“超模对应和多重先验信念的比较”，工作文件。Echenique，F.（2002）：“适应性动力学和对应原理的比较静态”，计量经济学，70833-844。Feinberg，E.A.（1996）：“关于马尔科夫决策过程中战略度量的可度量性和表示”，演讲稿专著系列，29-43。Feinberg，E.A.、P.O.Kasyanov和M.Z.Zgurovsky（2016）：“具有弱连续转移概率的部分可观测总成本马尔可夫决策过程”，运营数学研究，41，65 6–681。范伯格，E.A.和A。