具有递归偏好的动态规划：最优性和

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Dynamic Programming with Recursive Preferences: Optimality and
  Applications》
---
作者：
Guanlong Ren and John Stachurski
---
最新提交年份：
2020
---
英文摘要：
  This paper provides new conditions for dynamic optimality in discrete time and uses them to establish fundamental dynamic programming results for several commonly used recursive preference specifications. These include Epstein-Zin preferences, risk-sensitive preferences, narrow framing models and recursive preferences with sensitivity to ambiguity. The results obtained for these applications include (i) existence of optimal policies, (ii) uniqueness of solutions to the Bellman equation, (iii) a complete characterization of optimal policies via Bellman\'s principle of optimality, and (iv) a globally convergent method of computation via value function iteration.
---
中文摘要：
本文给出了离散时间动态优化的新条件，并利用这些条件建立了几种常用递归偏好规范的基本动态规划结果。这些包括Epstein-Zin偏好、风险敏感偏好、窄框架模型和对歧义敏感的递归偏好。这些应用获得的结果包括：（i）最优策略的存在性，（ii）Bellman方程解的唯一性，（iii）通过Bellman最优性原理对最优策略进行完整表征，以及（iv）通过值函数迭代的全局收敛计算方法。
---
分类信息：

一级分类：Economics        经济学
二级分类：General Economics        一般经济学
分类描述：General methodological, applied, and empirical contributions to economics.
对经济学的一般方法、应用和经验贡献。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--

---
PDF下载：
--> Dynamic_Programming_with_Recursive_Preferences:_Optimality_and_Applications.pdf (423.73 KB)

2022-6-11 06:30:24 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：动态规划 Applications Contribution Quantitative Preferences

带递归偏好的动态规划：最优性与应用任关龙和约翰·斯塔舒斯基澳大利亚国立大学经济研究院，2020年6月23日摘要。本文提供了离散时间动态优化的新条件，并利用这些条件为几种常用的递归偏好规范建立了基本的动态规划结果。这些包括Epstein-Zin偏好、风险敏感偏好、窄框架模型和对环境敏感的递归偏好。这些应用得到的结果包括（i）最优策略的存在性，（ii）Bellman方程解的唯一性，（iii）通过Bellman最优性原理对最优策略进行完整表征，以及（iv）通过值函数迭代的全局收敛计算方法。JEL分类：C61、C63、E20关键词：动态规划、递归偏好、歧义1。引言经济学家已经逐步构建了更现实的代理人及其选择的表示。在跨期选择的背景下，这些偏好已经包括了诸如对跨期替代和跨期风险的独立敏感性、对掠夺的渴望、狭义分歧的影响和一些形式的歧义等特征。具有这些特征的模型现在在将量化模型与宏观经济学和金融领域的数据联系起来方面发挥着关键作用。本文得益于Jaroslav Boroviˇcka、Yiann is Valakis和Gaetano Bloise的深思熟虑的评论。感谢ARC赠款FT160100423提供的财政支持。

电子邮箱：关龙。ren@anu.edu.au还有约翰。stachurski@anu.edu.auFor例如，Epstein和Zin（1989）的递归偏好规范现已成为定量资产定价文献的核心组成部分，同时也发现了在从最优税收到规模政策和商业周期的应用中的使用（参见Bansal和Yaron（2004）、Kaplan和Violante（2014）或Schorfheide等人（2018））。关于经济建模中稳健性需求的规范研究，请参见Hansen和Sargent（2008）。著名的多义性和跨期选择研究者包括Deepstein和S chneider（2008），Klibano ff等人（2009），Siniscalchi（2011）和Ju and Miao（2012）。关于递归偏好模型的另一个概述可以在Backus等人（2004）中找到。与此同时，技术上的困难阻碍了对复杂跨期偏好的理解，而这又是这些参考文献中嵌入的非线性的结果。此外，即使对于那些通常采用递归偏好的设置，如资产价格和股本溢价的量化模型，也很明显，通常用于简化它们的广泛近似可能会产生巨大的经济重大错误（见Pohl et al.（2018））。递归偏好模型有两个主要的技术难题。一个是效用的存在性和唯一性，当后者被递归定义时。

例如，如果指定寿命效用Utat时间t为asUt=W（Ct，R（Ut+1）），（1）其中W是某种形式的聚合器，R是确定性等价运算符，{Ct}是给定的消耗路径（参见，例如，Epstein和Zin（1989）），那么效用{Ut}是否定义良好？是否已明确定义？W和{Ct}需要什么条件才能得到肯定的答案？经过一段时间的广泛研究，这些问题基本上已在普通美国的规范中得到解决。然而，与递归实用程序相关的第二个重要问题仍然存在：如何最大化它们。例如，如果（1）中的消费{Ct}是与不同的家庭储蓄和投资政策相关的许多时间路径之一，那么哪个可行的政策将最大化Ut？这种政策是否存在？如果存在，我们如何才能获得？更一般地说，当偏好被递归定义时，我们如何将动态编程理论应用于最佳选择？本文提出了一种适用于递归p参考模型的动态规划理论，该理论具有广泛性、简单性、实用性和高度适用性。然后，我们利用这一理论获得文献中几种常见规范的基本优化结果，包括具有恒定替代聚合弹性的Epstein–Zin模型的经验相关参数化、风险敏感和鲁棒控制模型、具有窄框架和模糊敏感偏好的模型。在每种情况下，我们都证明了值函数是Bellman方程的唯一解，值函数迭代一致收敛于值函数，Bellman最优原则有效，最优策略存在。例如，见Epstein和Zin（1989），Rinc'on Zapatero和Rodr'guez Palmero（2007），Klibano ff等人。

（2009）、Marinacci和Montrucchio（2010）、Hayashi和Miao（2011）、Hansen和Scheinkman（2012）、Martins da Rocha和Valakis（2013）、Becker和Rinc\'on Zapatero（2017）、Boroviˇcka和Stachurski（2017）或Guo和He（2019）。本文采用的动态规划方法的新颖之处在于，我们使用单调凸算子来研究与动态规划相关的最大化问题。虽然单调凸算子在经济学文献中很少受到关注（与收缩映射或单调凹算子不同），但它们在目前的情况下有一个显著的优势：凸性是在点态上至上的情况下保留的。在我们的结果中，我们充分利用了这一点，以及在适当的条件下，单调凸算子具有吸引人的稳定性。我们将这些想法与Bertsekas（2013）的抽象动态规划框架相结合，Bertsekas在（加权）收缩条件下的一般设置中获得了强最优性结果。后一种情况对于经济学和金融学中经常使用的大多数递归偏好模型来说都是失败的。在这里，我们维护了Bertsekas（2013）使用的抽象动态规划框架，以及一个基本的单调条件，但将他的收缩条件替换为凸性条件。后一个条件（i）被许多递归偏好模型所满足，以及（ii）可以用来连接上面讨论的单调凸算子理论，替代Banach的收缩映射理论，并提供动态规划的基本结果（例如，值函数迭代的收敛性、Bellman最优性原则的有效性以及最优策略的存在性）。除了上面讨论的理论和应用之外，我们还提供了我们结果的两个扩展。

首先，除了最大化问题之外，我们在相同的抽象动态规划框架中处理最小化问题。其次，我们展示了如何将该框架扩展到处理无界奖励，为具有非紧状态空间的Epstein–Zin递归偏好模型提供了基本的动态编程结果。除了上述研究外，我们的工作还受到了一些现有研究的启发。其中两位关系最为密切的是areBloise和Valakis（2018）以及Marinacci和Montrucchio（2019），他们都在递归效用的设定下分析动态规划（除了做出其他贡献，如单调算子的一般固定点理论和Koopmans算子的性质）。在这两种情况下，作者利用某些递归偏好中固有的单调性和凹度特性来获得Bellman算子在给定类中具有唯一且全局吸引解的条件。我们对动态规划基本结果的处理，在一组相关但不可直接比较的假设下，从多个方向扩展了他们的理论分析。特别是，除了提供Bellman算子在给定类别内具有唯一且具有全球吸引力的解的条件外，如Bloise和Valakis（2018）以及Marinacci和Montrucchio（2019），我们还表明，在相同条件下，该解是值函数，Bellman的最优原则是有效的，在某种意义上，一项政策是最优的，当且仅当它是通过在Bellman方程右侧的每个状态下采取最大化行动来实现的。

此外，我们证明了至少存在一个这样的策略。在实践方面，我们扩展了Bloise和Valakis（2018）以及Marinacci和Montrucchio（2019），为马尔可夫决策过程提供了一组详细的动态规划结果，其中包括（i）Epstein–Zin偏好，（ii）r isk–sensitive偏好，（iii）递归平滑模糊性偏好和（iv）窄框架。这些是应用文献中最常见的递归偏好公式之一。下文第3.2节中包含了我们在爱泼斯坦-津偏好设置中对动态编程的处理，为爱泼斯坦和津（1989）的原著以及郭和何（2019）的扩展增加了价值。例如，虽然这些动态规划结果处理的是特定消费储蓄和投资组合选择问题，没有捐赠、税收、劳动收入或其他形式的非金融收入（见Epstein和Zin（1989），定理5.1，以及Guo和He（2019），第5节），但我们处理的是代理马尔可夫决策问题。这有助于在具有可选默认、事务成本或偶尔绑定约束等特性的模型中采用Epstein–Zin首选项。我们对风险敏感偏好的处理补充了B¨auerle和Ja'skiewicz（2018）最近的工作，他们认为在这种情况下存在随机最优增长问题。我们将一个部门最优增长模型替换为一个通用的马尔可夫决策问题，并对其进行了修改，以允许风险敏感性与连续值相关。

这一结果可以直接应用于大范围的动态程序，部分原因是，在许多情况下，风险敏感代理的Bellman方程也可以解释为确定鲁棒控制器最优策略的关键函数方程（参见Hansen和Sargent（2008））。我们在递归平滑模糊设置中对动态规划的处理基于inJu和Miao（2012）使用的偏好规范。该规范承认风险规避、模糊规避和跨期替代之间存在三种方式的分离，并证明在解释各种资产定价现象时具有价值。在那篇论文中，消费是外来的。虽然递归效用的存在和不唯一性是一个已解决的问题（参见，例如，Hayashi和Miao（2011）），但动态规划并非如此。因此，我们在该框架的现有知识库中添加了最优策略的存在性结果，通过Bellman的最优性原理对这些策略进行了表征，以及通过值函数迭代的全局计算方法。我们对具有无界报酬的爱泼斯坦-辛模型的处理扩展了以往关于动态规划的非经济学研究，其中可分偏好是无界的，例如inRinc'on Zapatero和Rodr'guez Palmero（2003）、Martins da Rocha和Valakis（2010）、Kamihigashi（2014）和B'auerle和Ja'skiewicz（2018）。我们的方法基于加权函数，不同于早期的研究，即加权与凸性假设相结合，而不是加权上确界范数收缩条件，以处理常见的递归偏好。这里还应该提到其他几篇与递归偏好动态规划理论相关的论文。

One isLe Van和Valakis（2005），他们研究了存在递归定义效用时的最优增长，考虑了绑定和无界回报。它们提供了详细的最优结果，包括最优策略的存在性和Bellman最优原理的一种版本，以及计算解的方法。另一方面，正如作者自己指出的那样，他们所要求的加权收缩条件在许多标准偏好规范中都失败了，包括Epstein–Zin效用。同样相关的还有isBalbus（2016），他考虑了一类具有特定类型非线性聚合器和确定性等价算子的n个负递归效用，并研究了相应的动态规划问题。他关于Bellman方程解的存在性、唯一性和收敛性的结果基于单调α凹算子理论。我们省略了详细的讨论，因为α-凹属性似乎不适用于我们在这里考虑的递归效用的许多规范，例如，当跨期子结构的弹性与统一性不同时，Epstein–Zin效用。同样，Ozaki和Streuffert（1996）对非马尔可夫环境下递归偏好的恢复和相应的动态规划问题进行了全面的研究。他们的结果对于在非常一般的环境下研究非加性随机目标的动态规划非常有用，尽管他们的假设单调凹算子理论之前在Le Van等人（2008）中用于加性可分问题，并在inDatta等人（2002）中显示存在扭曲的马尔可夫平衡的存在，Morand和Reffett（2003）以及几篇相关论文。排除一些常用规格。

例如，当Epstein–Zin偏好和跨期替代弹性大于1时，eorem Dfail的条件（因为与可变贴现因子δ和δ相关的参数是有限的）。我们的论文还与Pavoni等人（2018）最近的工作有一定的联系，他们介绍了一种适用于激励约束规划问题的递归对偶方法。作者构造了他们所考虑的应用程序的对偶公式，该公式是递归的，使得对偶Bellman算子是收缩的，并且是Thompson-likemetric的。他们的理论可以处理通过generaltime聚合器和随机聚合器指定偏好的问题。在我们下面考虑的问题中，没有前瞻性约束，我们可以直接考虑基本优化问题。这使我们能够避免将主要问题与对偶联系在一起的假设，并获得对偶的收缩性。本文的主要结构如下：第2节包含我们的主要结果。第3节有应用程序。第4节考虑了一种扩展（无限奖励）。除了一些简单的论点外，所有的证明都被推迟到附录中。2、一般结果设X和A为可分度量空间，分别称为状态空间和动作空间。Letrx表示X-Tor中的所有函数，k·k表示X中有界函数的上确界n或上确界。对于f和g inRX，声明f 6 g表示所有x的sf（x）6 g（x）∈ 十、 设Γ是从X到a的对应关系，下面提到的是可行的对应关系。我们理解Γ（x）表示控制器在状态x下可用的所有动作。