EM算法与经济学中的随机控制

，m.在本文的数值示例中，我们使用了Broadie、Cicek和Zeevi（2011）中的缩放和移位随机近似（SSSA）算法，其中序列ak和Bk被选择为ak=k-1·A和bk=k-1/4·b，其中A和A有一些初始向量，通常选择与y的比例成比例。附录D一般控制问题的EM-C算法（6）EM-C算法也适用于效用函数不可时间分离的一般控制问题（6）。在这些问题中，（9）不能再简化为（10）。为了使EM-C算法适用于此类问题，在迭代k的每个周期，只需将θkt设置为次优（最优）解maxθt∈ΘtEu（s，c，s，c，…，sT-1，cT-1，sT）ck公司-1，θk-1.θk-1吨-1，θt，θkt+1，θkT-1..（48）收敛定理1、2和3也适用于一般控制问题的EM-C算法（6）。在对一般控制问题（6）实施EM-C算法时，需要解决子问题（48），其中目标函数为：Eu（s，c，s，c，…，sT-1，cT-1，sT）ck公司-1，θk-1.θk-1吨-1，θt，θkt+1，θkT-1.= E“NNXl=1u（s，c，sk1，l，ck1，l，…，skt，l，ckt，l（θt），…，skt-1，l（θt），ckT-1，l（θt），skT，l（θt））#。然后，SA算法可以使用▄f（θt）：=NNXl=1u（s，c，sk1，l，ck1，l，…，skt，l，ckt，l（θt），skT公司-1，l（θt），ckT-1，l（θt），skT，l（θt））作为求解子问题（48）时目标函数的近似值。参考Bertsekas，D.（1999年）。非线性规划，2 edn，Athena Scientific，Belmont，Massachusetts。Bertsekas，D.P.（2012年）。动态规划与最优控制：近似动态规划，第二卷，第4版，雅典娜科学出版社，马萨诸塞州贝尔蒙特。Bouchard，B.和Touzi，N.（2004）。

倒向随机微分方程、随机过程及其应用的离散时间近似和蒙特卡罗模拟111（2）：175–206。Broadie，M.、Cicek，D.和Zeevi，A.（2011年）。Kiefer-Wolfowitz随机近似算法的一般界限和有限时间改进，运营研究59（5）：1 211–1224。Broadie，M.和Glasserman，P.（1997年）。《利用模拟为美式证券定价》，《经济动力学与控制杂志》21（8-9）：13 23-1352。Brodie，M.和Glasserman，P.（2004年）。高维美式期权定价的随机网格方法，计算金融杂志7（4）：35–72。Brown，D.B.和Haugh，M.B.（2014）。《单位水平马尔可夫决策过程的信息松弛界限》，杜克大学和哥伦比亚大学工作论文。Brown，D.B.和Smith，J.（2014）。《信息松弛、二元性和对流-随机动态计划》，运筹学62（6）：1394–1415。Brown，D.B.、Smith，J.E.和Sun，P.（20-10）。《随机动态规划中的信息松弛与对偶》，《运筹学》58（4）：785–801。Chang，I.、Fu，M.、Hu，J.和Marcus，S.（2007）。基于模拟的算法forMarkov决策过程，Springer Verlag London有限公司。Christiano，L.（1990年）。线性二次近似和值函数迭代：比较，商业与经济统计杂志8（1）：99–113。Crisan，D.、Manolarakis，K.和Touzi，N.（2010年）。关于SDES的蒙特卡罗模拟：Malliavin权重、随机过程及其应用的改进120（7）：1133–1158。Dempster，A.、Laird，N.和Rubin，D.（1977年）。通过EM算法获得不完整数据的最大可能性，皇家统计学会杂志，S系列B39（1）：1–38。Fahim，A.、Touzi，N.和Warin，N.（2011年）。

全非线性抛物型偏微分方程的概率数值方法，应用概率年鉴21（4）：1322–1364。Flemming，W.H.和Soner，H.M.（2005）。受控马尔可夫过程和粘性解，2 edn，Springer-Verlag。Gallego，G.和Van Ryzin，G.（1994年）。有限期内库存需求最优动态定价，管理科学40（8）：999–1020。Gallego，G.和Van Ryzin，G.（1997年）。多产品动态定价问题及其在网络产量管理中的应用，运筹学45（1）：24–41。格拉斯曼，P.（20 04）。金融工程中的蒙特卡罗方法，斯普林格。Gosavi，A.（2015）。基于仿真的优化，第二版edn，Springer。Gu，M.G.和Li，S.（1998）。具有不完全数据的最大似然估计的随机近似算法，加拿大统计杂志26（4）：567–582。郭，W.，张，J.和卓，J.（2012）。高维完全非线性偏微分方程的单调格式，应用概率年鉴，fort hcoming。Hansen，G.D.（1985）。《不可分割的劳动与商业周期》，货币经济学杂志16（3）：309–327。Hansen，L.P.和Sarg ent，T.J.（2013）。《动态线性经济的递归模型》，普林斯顿大学出版社。Judd，K.L.（1998年）。《经济学中的数值方法》，麻省理工学院出版社，马萨诸塞州剑桥。Kharroubi，I.、Langrene，N.和Pham，H.（2013a）。通过无正跳的BSDE对完全非线性HJB方程进行离散时间逼近，预印。Kharroubi，I.、Langrene，N.和Pham，H.（2013b）。全非线性HJB方程的数值算法：控制随机化方法，预印本。Kiefer，J.和Wolfowitz，J.（1952年）。回归函数最大值的统计估计，《数理统计年鉴》23（3）：462–466。Kushner，H.J.和Dupuis，P.（2001年）。

连续时间随机控制问题的数值方法，2 edn，Springer-Verlag，纽约。Kushner，H.J.和Yin，G.G.（2003）。随机近似和递归算法及应用，Springer Verlag，纽约。Kydland，F.E.和Prescott，E.C.（1982）。《经济计量学》50（6）：1345–1370，构建和聚合流量的时间。Lai，T.L.（2003）。随机近似，统计年鉴31（2）：391–406。Lange，K.（2010）。《统计学家数值分析》，2 edn，Springer。Ljungqvist，L.和Sargent，T.J.（2013）。《递归宏观经济理论》，第3版，麻省理工学院出版社。Long Jr.，J.B.和Plosser，C.I.（1983）。《真实商业周期》，《政治经济杂志》91（1）：39–69。Longstaff，F.A.和Schwartz，E.S.（2001）。通过模拟评估美国期权：一种简单的最小二乘法，《金融研究评论》14（1）：113–147。Luo，Z.和Tseng，P.（1992年）。关于凸可微极小化的坐标下降法的收敛性，《优化理论与应用杂志》72（1）：7–35。Meng，X.L.和Rubin，D.B.（1993年）。通过ECMalgorithm的最大似然估计：一般框架，Biometrika 80（2）：267–278。Miranda，M.J.和Fackler，P.L.（2002年）。应用计算经济学和金融学，麻省理工学院出版社，马萨诸塞州剑桥。Neal，R.和Hinton，G.（1999年）。《EM算法视图，仅限增量、稀疏和其他变体》，M.I.Jordan（编辑），《图形模型学习》，麻省剑桥密特Press，第355–36页8。Ostrowski，A.M.（1966年）。方程和方程组的求解，纽约学术出版社。Powell，W.B.（2011）。近似动态规划：解决维度诅咒，2 edn，John Wiley and Sons，新泽西州霍博肯。Robbins，H.a和Monro，S.（1951年）。随机近似方法，《数学统计年鉴》22（3）：400–407。Rubinstein，R.Y.和Kroese，D.P.（2004）。

交叉熵方法：组合优化的唯一方法，蒙特卡罗模拟和机器学习，Springer。Spall，J.C.（2003）。随机搜索和优化导论：估计、模拟和控制，JohnWiley&Sons，Inc.，HoboKen，新泽西州。Stokey，N.L.、Lucas，R.E.和Prescott，E.C.（1989年）。《经济动力学中的递归方法》，哈佛大学出版社。Sutton，R.S.和Barto，A.G.（1998年）。强化学习：简介，麻省理工学院出版社，马萨诸塞州剑桥。Tsung，P.（2001年）。不可微极小化块坐标下降法的收敛性，《优化理论与应用杂志》109（3）：475–494。Tsitiklis，J.N.和Van Roy，B.（2001年）。《复杂美国式期权定价的回归方法》，IEEE神经网络交易12（4）：694–703。Wei，G.C.G.和Tanner，M.A.（1990年）。EMalgorithm和穷人数据增强算法的蒙特卡罗实现，美国统计协会杂志85（411）：699–704。Wrig ht，S.J.（2015）。坐标下降算法，数学编程151（1）：3–34。Wu，C.F.J.（1983）。关于EM a lg算法的收敛性，《统计年鉴》11（1）：95–103。Zangwill，W.I.（1969年）。《非线性规划：一种统一的方法》，普伦蒂斯·霍尔，新泽西州恩格尔伍德市。Zhang，J.（2004）。BSDE的数值格式，应用概率的神经网络14（1）：459–488。