具有递归偏好的动态规划：最优性和

要检查条件（d），请注意，对于固定（（s，z），y）∈G、 我们有h（（s，z），y，w）=exp-θr（s，y，z）+βM1级- β+ δ> 经验值-θM+βM1级- β+ δ或者，用一些r耳环，H（（s，z），y，w）>exp-θM1级- β+ βδ> w（s，z）。（25）同样，对于固定（（s，z），y）∈G、 我们有h（（s，z），y，w）=exp-θr（s，y，z）+β-M1级- β6经验值-θ-M- βM1- β,最后一项等于w（s，z）。因此，假设条件（d）为2.1小时。此外，从（25）中可以明显看出，我们对walso的选择满足了假设2.3第（b）部分中的一致严格不等式。最后，假设2.3的条件（a）是H的值凹度，它直接遵循（24）中定义的函数φ的凹度以及积分的线性。下面是定理2.5的结论。3.4. 模棱两可Ju和Miao（2012）提出并研究了一个递归s光滑模糊模型，其中寿命值满足度=h（1- β） C1类-ρt+β{Rt（Ut+1）}1-ρi1/（1）-ρ） （26）带RT（Ut+1）=EutEπθ，thU1-γt+1i(1-η)/(1-γ)1/(1-η). （27）如前所述，ρ是EIS和γZF风险规避的倒数，而η满意度0<η6=1，并捕捉模糊规避。如果η=γ，则决策者是模糊中立的，（26）–（27）简化为Epstein和Zin（1989）的经典递归效用模型。当且仅当γ<η时，决策者显示模糊厌恶。我们主要关注案例0<ρ6 1<γ<η，这与经验最相关。作为Ju和Miao（2012）偏好的一般公式，我们考虑Bellman方程v（s，z）=maxy∈Γ（s，z）r（s，y，z）+β（zZv（y，z′）1-γπθ（z，dz′）1.-η1-γu（z，dθ））1-ρ1-η1.-ρ（28）精确地说，当我们设置ε：=exp时，假设2.3的条件（b）成立{-θ[米/（1）- β) + βδ]} -经验值{-θ[米/（1）- β) + δ]}.inJu和Miao（2012）使用的校准为（ρ，γ，η）=（0.66，2.0，8.86）。见第574页。其中（s，z）∈ S×Z。

我们假设e S和Z都是紧的，Γ是连续的且是紧值的，F是连续的且处处都是正的。集合Θ是一个单位参数空间，其中的每个元素都是外部状态过程规范中的参数向量。给定任意θ∈ 假设Z上的转移函数πθ具有Feller性质。给定任意z∈ Z、 分布u（Z，·）将Θ的子集映射到[0，1]，并演化为外源状态过程的一个函数。我们假设对于每个θ，u在z中是连续的∈ Θ.3.4.1. 情况ρ6=1。应用连续双射变换≡ v1-η到vin Bellman方程（28）导致最小化问题^v（s，z）=miny∈Γ（s，z）r（s，y，z）+β（zZ^v（y，Z′）ξπθ（Z，dz′）ξu（z，dθ））ξξ（29）表示所有（s，z）∈ S×Z，其中，这里和下面，ξ：=1- γ1 - η和ξ：=1- η1 - ρ.由于该变换是双射的，因此vand^v之间存在一对一的对应关系，即v在d仅在^v解（29）时解（28）。注意，在当前设置中，我们有ξ∈ （0，1）和ξ<0。我们将此模型转换为我们的环境，方法是将X：=S×Z作为状态空间，a=y作为S中的动作值，并将状态动作聚合器H设置为H（（S，Z），y，^v）=r（s，y，z）+β（zZ^v（y，Z′）ξπθ（Z，dz′）ξu（z，dθ））ξξ. （30）由于（29）是一个极小化问题，我们旨在应用定理2.5。对于括号函数wand w，我们将δx>0，取常数函数sw：=M+δ1- βξ和w：=m1级- βξ、 其中实数m和m如第3.2.1节所定义。假设2.1和2.3得到满足。关于假设2.1，条件（a）在假设中是真实的。ap pendix中的引理5.9证明了条件（b）和d（c）。

验证条件（d），对于固定（（s，z），y）∈G、 我们有h（（s，z），y，w）=r（s，y，z）+β（zM+δ1- βξu（z，dθ））1/ξξ=r（s，y，z）+βM+δ1- βξ>M+βM+δ1- βξ、 其中，第一个等式直接来自于H和f的定义，即对于任何非负常数函数d，[Rd（z′）ξπθ（z，dz′）]1/ξ=d。此外，通过重新排列，我们得到H（（s，z），y，w）>M+δ1- β- δξ> w（s，z）。（31）同样，对于固定（（s，z），y）∈G、 我们有h（（s，z），y，w）=r（s，y，z）+β（zm1级- βξu（z，dθ））1/ξξ=r（s，y，z）+βm1- βξm+βm1- βξ=w（s，z）。因此，假设2.1的条件（d）确实成立。此外，从（31）中可以明显看出，我们对walso的选择满足了假设2.3第（b）部分中的一致严格不等式。假设2.3的条件（a）（即H的值凹度）也得到满足，如附录的表5.9所示。下面是定理2.5的结论。3.4.2. ρ=1的情况。在ρ=1的极限情况下，通用模糊递归（27）变为comesut（C）=（1- β） ln Ct+β1- ηlnEutexp1.- η1 - γlnEπθ，texp（（1- γ） Ut+1）,（32）式中，Ut=ln Vt.（28）中的一般Bellman方程变为sv（s，z）=maxy∈Γ（s，z）r（s，y，z）+β1- η××lnZexpξlnZexp(1 - γ） v（y，z′）πθ（z，dz′）u（z，dθ）,（33）正如Hansen和Sargent（2008）所研究的，该规范与风险敏感控制和稳健性相关。特别是，在（32）中有两个风险敏感性调整。对于每个（s、z）∈ S×Z。

单周期回归函数r仍假定为连续函数，但不再限制为正函数，而其他基本函数如第3.4.1节所述。应用转换^v≡ exp[（1- η） Bellman方程（33）中的v]to v导致最小化问题^v（s，z）=miny∈Γ（s，z）扩展（1- η)r（s，y，z）+β1- η××lnZexpξlnZexpξln^v（y，z′）πθ（z，dz′）u（z，dθ）!.（34）通过一些重新排列，（34）可以写成^v（s，z）=miny∈Γ（s，z）扩展（1- η） （r（s，y，z）+β1- η××ln“ZZ^v（y，Z′）ξπθ（Z，dz′）1/ξu（z，dθ）#）！。（35）注意我们还有ξ∈ （0，1）和η>1，在当前设置中具有歧义版本。对应于（35）isH（（s，z），y，^v）=exp（1）的状态动作聚合器H- η） （r（s，y，z）+β1- η××ln“ZZ^v（y，Z′）ξπθ（Z，dz′）1/ξu（z，dθ）#）！。（36）由于返回函数r在紧集上是连续的，因此存在一个有限常数，使得| r | 6 M。因此，对于括号函数wand w，我们f xδ>0，取常数函数sw：=exp(1 - η)M1级- β+ δ和w：=exp(1 - η)-M1级- β.由于（35）是最小化p问题，我们的目标是应用定理2.5。同样，假设2.1和2.3均已满足。关于假设2.1，条件（a）微不足道。条件（b）和（c）遵循附录引理5.11。要检查条件（d），请注意，对于固定（（s，z），y）∈G、 我们有h（（s，z），y，w）=exp(1 - η)r（s，y，z）+βM1级- β+ δ> 经验值(1 - η)M+βM1级- β+ δ,或者，用一些r耳环，H（（s，z），y，w）>exp(1 - η)M1级- β+ βδ> w（s，z）。（37）同样，对于固定（（s，z），y）∈G、 我们有h（（s，z），y，w）=exp(1 - η)r（s，y，z）+β-M1级- β6经验值(1 - η)-M- βM1- β= w（s，z）。因此，假设2.1的条件（d）成立。事实上，从（37）开始，我们对walso的选择立即满足了假设2.3第（b）部分中的一致严格不等式。

关于假设2.3的（a）部分，H的值凹度是引理5.11的直接值。我们现在已经检查了2.5中的所有条件，因此该定理的结论如下。3.5. 狭窄的框架。在本节中，我们研究了将一阶风险厌恶和狭义框架结合在一起的递归偏好，例如Barberis et al.（2006）orBarberis and Huang（2009）。它们可以表示为=(1 - β） C1类-ρt+β(EtU1-γt+11.-γ+βx=1'u（'Gi，t+1）！）1.-ρ1.-ρ、 其中，b>0是一个控制窄帧程度的参数，而▄Gi，t+1代表代理人通过投资资产而进行的特定赌博，不确定性将在t和t+1期间解决。一阶风险规避是通过“u”的分段线性引入的。相对于第3.2节中的递归规范，由B预先定义的新术语表明，代理人直接从赌博结果{Gi，t+1}中获得效用，而不是直接通过其对下一期财富的贡献来获得效用。其他原语如第3.2节所述。对于参数ρ和γ，我们假设它们是1<ρ<γ或ρ<1<γ。u inBarberis等人。

（2006）是'u（x）=x{x>0}+λx{x<0}，λ>1。在上述偏好规范下，通用Bellman方程为SV（s，z）=maxy∈Γ（s，z）r（s，y，z）+β“Zv（y，z′）1-γP（z，dz′）1.-γ+B（s，y，z）#1-ρ1.-ρ.（38）如前所述，我们假设单期回报函数r（s，y，z）为正且连续的onG，而总赌博效用函数B（s，y，z）为负且连续的onG。我们再次应用连续变换^v≡ v1-γ到Bellman方程（38）。同于1- γ为负，变换后的对应项将我们引向最小化问题^v（s，z）=miny∈Γ（s，z）r（s，y，z）+β“Z^v（y，Z′）P（Z，dz′）1.-γ+B（s，y，z）#1-ρθ、 （39）式中θ：=（1）- γ)/(1 - ρ). 状态动作聚合器isH（（s，z），y，^v）=r（s，y，z）+β“Z^v（y，Z′）P（Z，dz′）1.-γ+B（s，y，z）#1-ρθ. （40）引理3.1。设H如（40）所定义。如果ρ<1<γ或1<ρ<γ，则存在连续的严格正函数w，won S×Z，w<w，使得（SL）存在ε>0，使得H（（S，Z），y，w）>w（S，Z）+ε（S，Z，y）∈G和（U）H（（s，z），y，w）6 w（s，z），表示所有（（s，z），y）∈G、 证明推迟到附录中。假设2.1和2.3的条件均满足。关于假设2.1，条件（a）在假设中为真，而条件（b）紧随r和b的连续性以及P的Feller属性。条件（c）很容易验证，因为对于任何固定常数c>0和b>0，标量映射ψ（t）：=c+βht1-γ+bi1-ρθ（t>0）（41）是单调递增的。假设2.3的条件（d）和部分（b）已由引理3.1验证。只剩下检查H的值凹度。

但这直接来自（41）中定义的ψ的凹度，如ρ<1<γ所示，以及积分的线性。因此，验证了定理2.5的所有条件，并得出了该定理的结论。4、无限报酬本节举例说明了如何将本文提出的动态规划方法扩展到无限报酬的设定。我们考虑的应用是第3.2.3节的Epstein-Zin问题，其中1<ρ<γ，Bellman方程v（s，z）=maxy∈Γ（s，z）（r（s，y，z）+βZv（y，z′）1-γP（z，dz′）1.-ρ1-γ)1-ρ（s，z）∈ 放弃紧性假设，我们允许S和Z分别是包含内生和外生状态变量可能值的任意可分度量空间。如前所述，P是Feller，Γ是紧值连续的，而r:G→Ris连续，β位于（0，1）。将θ定义为θ=（1- γ)/(1 - ρ） ，以便在当前设置中θ>1。此外，我们作出以下假设。假设4.1。存在一个连续函数κ：S×Z→ [1, ∞), 正常数M、L和L 6 M以及c∈ （0，1/βθ）和d∈ [0，1/βθ）满足条件∈Γ（s，z）r（s，y，z）6 Mκ（s，z）表示所有（s，z）∈ S×Z，（42）infy∈Γ（s，z）r（s，y，z）>Lκ（s，z）表示所有（s，z）∈ S×Z，（43）supy∈Γ（s，z）zκ（y，z′）θP（z，dz′）6 cκ（s，z）θ表示所有（s，z）∈ S×Z，（44）infy∈Γ（s，z）zκ（y，z′）P（z，dz′）>dκ（s，z）表示所有（s，z）∈ S×Z.（45）此外，映射（y，Z）7→Rκ（y，z′）θP（z，dz′）在S×z上是连续的l 在S×Z上定义l（s，z）>0表示所有（s，z）∈ S×Z，函数f:S×Z→Ris呼叫l-f（s，z）有界/l（s，z）与（s，z）在s×z上的范围有关。如第3.2.3节所述，我们采用连续变换^v≡ v1-γ到Bellman方程。

自1起- γ<0，变换后的对应项将我们引向一个最小化问题，状态作用聚合器h（（s，z），y，^v）=（r（s，y，z）+βZ^v（y，Z′）P（Z，dz′）1/θ)θ.对于括号函数wand w，我们将δx为0<δ<L，然后采用函数SW=（L- δ） θ·κ和w：=M1级- βc1/θθ· κθ.注意κ6κθ，因为θ>1和κ>1。因此，wand ware均以κθ为界。此外，κ的正性和连续性直接意味着w的正性和连续性。因此，此类w是带w6 w的X中的正κθ有界连续函数。设V和C都是满足w6 V 6 w的Borel测度函数V，并且分别是V中的连续函数。对于fix edσ∈ ∑，a函数^vσ∈ 如果^Vσ（s，z）=（r（s，σ（s，z），z）+β，则称V为σ-值函数Z^vσ（σ（s，Z），Z′）P（Z，dz′）1/θ）θ表示所有（s，z）∈ 下面的命题说明了其存在唯一性的一个结果。提案4.1。如果假设4.1成立，则对于每个σ∈ ∑，集合V实际上包含一个σ-值函数^Vσ。在此基础上，最小成本函数^v*与该规划问题相关的定义见（s，z）∈ S×Z×v*（s，z）=infσ∈∑vσ（s，z）。A函数^v∈ 如果^V（s，z）=miny，则称V满足Bellman方程∈Γ（s，z）（r（s，y，z）+βZ^v（y，Z′）P（Z，dz′）1/θ)θ.在这方面，通过^v（S，z）=infy定义C上相应的行李员运算符S∈Γ（s，z）（r（s，y，z）+βZ^v（y，Z′）P（Z，dz′）1/θ)θ.与有界情况下的结果类似（参见第3.2.3节），我们有定理4.2。如果假设4.1成立，则（a）最小成本函数^v*位于C中，是该集中B Ellman方程（18）的唯一解。（b） 如果^v在C中，则Sn^v→ ^v*作为n→ ∞.（c） ∑中的策略σ是最优的当且仅当σ（s，z）∈ 阿格米尼∈Γ（s，z）H（（s，z），y，^v*) 适用于所有（s、z）∈ S×Z.（d）至少存在一个最优策略。5.

附录let mX表示X中的所有Borel可测函数，cX表示mX中的所有连续函数。设bmX为mX中的边界函数，bcX为bmX中的连续函数。让mX+和mX++分别是mX中的非负函数和正函数。回想一下，如果a有唯一的固定点v，则bmX凸子集M上的自映射a称为oM上的渐近稳定*以M和Anv为单位→ v*作为n→ ∞ 每当v∈ M、 o当v、v′时，如果Av 6 Av′，则为等渗酮∈ v为6 v′的M，如果A（λv+（1））为凸的-λ） v′）6λAv+（1-λ） Av′每当v，v′时∈ M和0 6λ6 1，如果A（λv+（1）为凹-λ） v′）>λAv+（1-λ） Av′每当v，v′时∈ M和0 6λ6 1。对于f，g∈ bmX，声明f<< g表示存在ε>0，使得f（x）6 g（x）- ε表示所有x∈ 十、 对于每个σ∈ ∑，我们定义了V上的σ-值运算符TσbyσV（x）：=H（x，σ（x），V），对于所有x∈ 十、 五∈ 五、（46）在vσ处说明th∈ V解（4）等于说明Vσ是Tσ的固定点。根据Emma 2.1，算子Tσ是V上定义良好的自映射。5.1. 凸情形的证明。引理5.1。如果假设2.2成立，则对于每个σ∈ ∑，算子Tσ在V上渐近稳定。引理5.1的证明。固定σ∈ Σ. 我们旨在应用Du（1990）的定理3.1。为此，有必要证明（i）Tσ在V上是等距凸的。（ii）Tσw>wand Tσw<< w、 关于条件（i），选择任意v，v′∈ V带V 6 V′。对于固定x∈ 十、 我们有Tσv（X）=H（X，σ（X），v）6 H（X，σ（X），v′）=Tσv′（X），通过（2）。因此，Tσ的等渗性成立。要看到Tσ是凸的，fix v，v′∈ V和λ∈ [0, 1]. 对于任何给定的x∈ 十、 我们有σ（λv+（1- λ） v′（x）=H（x，σ（x），λv+（1- λ） v′）6λH（x，σ（x），v）+（1- λ） H（x，σ（x），v′）=λTσv（x）+（1- λ） Tσv′（x），其中不等式直接遵循假设2.2第（a）部分的s。

自x起∈ X是任意的，Tσ的凸性如下。条件（ii）的第一部分直接来自（3），因为，对于每个x∈ 十、 Tσw（X）=H（X，σ（X），w）>w（X）。为了确保条件（ii）的第二部分得到满足，根据假设2.2的第（b）部分，tσw（x）=H（x，σ（x），w）6 w（x）- 每个x的ε∈ 对于某些ε>0。因此w>> Tσw，如图所示。命题2.2的证明。这直接来自引理5.1。给定v∈ 如果σ（x），∑中的策略σ称为V-最大贪婪∈ argmaxa∈Γ（x）H（x，a，v）对于所有x∈ 十、 （47）引理5.2。如果v∈ C，则至少存在一个v-最大贪婪策略。证据固定v∈ 使用假设2.1中的紧性和连续性条件，我们可以为每个x∈ X作用σ（X）∈ Γ（x）使（47）成立。以这种方式构建的地图σ可以被选为可由兰蒂斯和边界（2006）的定理18.19测量的波雷尔。引理5.3。如果假设2.2成立，则T在C上渐近稳定。引理5.3的证明。为了应用Du（1990）的定理3.1，必须证明（i）T在C上是等距凸的。（ii）T w>棒T w<< w、 T在C上的等渗性很明显，因为通过单调性限制（2），v 6 v′==> maxa公司∈Γ（x）H（x，a，v）6最大值∈Γ（x）H（x，a，v）对于所有x∈ 十、 换句话说，通过定义T，v 6 v′意味着T v 6 T v′。显示T，fix v，v′的凸性∈ C和λ∈ [0, 1].