具有递归偏好的动态规划：最优性和

对于任何给定（x，a）∈G、 根据假设2.2的（a）部分，我们有H（x，a，λv+（1- λ） v′）6λH（x，a，v）+（1- λ） H（x，a，v′）6λmaxa∈Γ（x）H（x，a，v）+（1- λ） maxa公司∈Γ（x）H（x，a，v′）=λT v（x）+（1- λ） T v′（x）。自（x，a）∈Gwas武断，上述不等式意味着maxa∈Γ（x）H（x，a，λv+（1- λ） v′）6λT v（x）+（1- λ） 每个x的T v′（x）∈ 十、 这意味着T[λv+（1- λ） v′]6λT v+（1- λ） T v′。条件（ii）的第一部分直接来自（3），因为，对于每个x∈ 十、 T w（X）=最大值∈Γ（x）H（x，a，w）>H（x，a，w）>w（x）。为了确保条件（ii）的第二部分得到满足，根据假设2.2的第（b）部分，t w（x）=maxa∈Γ（x）H（x，a，w）6 w（x）- 每个x的ε∈ 对于某些ε>0。因此，T w<< w、 如图所示。定理5.4。如果Tσ对于所有σ在V上渐近稳定∈ ∑和T在C上渐近稳定，则定理2.3的结论成立。证据让v*是最大值函数，并让v是C中的唯一固定点。要查看“v=v”*, 首先，观察“v”∈ 因此，v至少有一个最大贪婪策略σ。对于这一政策，通过定义，我们在每个x上都有Tσ'v（x）=T'v（x），由此得出'v=T'v=Tσ'v。由于Tσ在v上渐近稳定，我们知道它的唯一固定点是vσ，因此'v=vσ。但接着是“v 6 v”*, 根据V的定义*.要查看反向不等式是否成立，请选择任意σ∈ Σ . 我们有Tσ\'v 6 T\'v=\'v。对这个不等式进行迭代，并使用Tσ的等渗性给出所有k的Tkσ\'v 6\'v。取k的极限，并使用Tσ的渐近稳定性，然后给出svσ6\'v。因此，v*我们现在可以得出结论，v=v*.自'v起∈ C，我们有v*∈ C它紧跟在v处的th之后*是C中Bellman最大化方程的唯一解→ v*每当v∈ C

第2.3条第（a）和（b）部分现已确定。关于（c）和（d）部分，通过对最大贪婪策略的定义，我们知道σ是v*-最大贪婪效应H（x，σ（x），v*) = maxa公司∈Γ（x）H（x，a，v*) 对于所有x∈ 十、 自v起*满足Bellman最大化方程，则σ为v*-最大贪婪<==> H（x，σ（x），v*) = v*（x） ，则， x个∈ 十、 但是，根据命题2.2，右边等于v*= vσ。因此，根据这一逻辑链和最优性的定义，σ是v*-最大贪婪<==> v*= vσ<==> σ是最优的（48）。此外，v*在C中与lemma5.2相结合，确保我们至少可以使用*-存在最大贪婪策略。每个这样的策略都是最优的，因此最优策略集是非空的。5.2. 凹面案例的证明。我们从最大化结果证明了最小化结果。首先，回顾第2节开头的定义，让我们看一下w：=-wandˇw：=-w、 很明显，wand_ware在满足w6_w中加入了连续函数。我们用V表示：=-所有Borel可测函数的集合71vinrxSatizingˇw6ˇV 6ˇw，且letˇC：=-C是ˋV中的连续函数。联合状态动作聚合器H:G×V→Ris由ˇH（x，a，v）定义：=-H（x，a，-ˋv）。（49）引理5.5。如果州行动聚合器H满足假设2.1和2.3，则（49）中定义的合并聚合器H满足假设2.1和2.2。引理5.5的证明。很明显，假设2.1中的条件（a）和（b）对ˇH适用。关于条件（c），在ˇv中选择任意ˇv，ˇv′和ˇv 6ˇv′。请注意-ˋv和-ˋv′在v中令人满意-ˋv′6-ˋv。

根据假设2.1的条件（c），对于聚合器H，我们有-ˋv′6-ˋv==> H（x，a，-ˇv′）6 H（x，a，-ˋv）<==> -H（x，a，-ˇv′）>-H（x，a，-ˋv）<==>ˇH（x，a，ˇv′）>ˇH（x，a，ˇv）表示所有（x，a）∈G、 这意味着ˇH确实满足单调性条件（2）。关于ˇH的上下限条件（d），调用H的条件（3），经过一些重新排列，我们得到ˇH（x，a，-w） 6-w（x）和ˇH（x，a，-w） >-w（x）表示所有（x，a）∈G、 根据wandw的定义，所有（x，a）的w（x）6H（x，a，w）和H（x，a，w）6w（x）∈G、 根据需要。需要证明的是，聚合器满足值凸性，并具有严格的上解。显示ˇH，fixˇv，ˇv′的值凸度∈ˋV和λ∈ [0, 1]. 清晰地-ˋv和-ˋv′在v中。然后，对于任何给定的（x，a）∈G、 通过H的值凹度，wehaveH（x，a，λ(-ˇv）+（1- λ)(-ˋv′）>λH（x，a，-ˇv）+（1- λ） H（x，a，-ˇv′），或-H（x，a，λ(-ˇv）+（1- λ)(-ˇv′）6-λH（x，a，-ˋv）- (1 - λ） H（x，a，-ˇv′），从ˇH的定义可以立即得出ˇH（x，a，λv+（1-λ） ˇv′）6λˇH（x，a，ˇv）+（1- λ） ˇH（x，a，ˇv′），如图所示。为了验证ˇwis是ˇH的严格上解，我们调用假设2.3中的部分（b）来表示H。也就是说，存在ε>0，使得H（x，a，w）>w（x）+ε表示所有（x，a）∈G、 根据ˇH的定义，这相当于说明存在ε>0，从而-ˇH（x，a，-w） >w（x）+ε<==>ˇH（x，a，-w） 6-w（x）- ε表示所有（x，a）∈G、 调用ˇw的定义，等于说存在ε>0，使得ˇH（x，a，ˇw）6ˇw（x）- ε表示所有（x，a）∈G、 这就完成了引理5.5的证明。此外，我们观察到，对于所有x，σ-值函数方程（4）可以等价地表示为ˋvσ（x）=ˋH（x，σ（x），ˋvσ∈ X带ˋvσ：=-vσ∈ˋV。此外，最小成本函数方程（8）可以等效地表示为ˋv*（x） =supσ∈∑ˋvσ（x）带ˋv*:= -v*.

Bellman方程（9）可等效表示为ˋv（x）=maxa∈Γ（x）ˋH（x，a，v）带ˋv：=-v∈ˋV。因此，通过引理5.5，我们可以将定理2.3应用于共轭聚合器ˇH，并恢复定理2.5中所述的聚合器H.5.3的结果。第3.4节的证明。在本节中，我们将证明第3.4节中定义的stateaction聚合器H的一些属性。为了说明，fixθ∈ 首先，我们通过（Rθw）（y，Z）定义bm（S×Z）+上的算子Rθ：=Zw（y，z′）ξπθ（z，dz′）1/ξ表示所有（y，z）∈ S×Z.（50）根据这一发现，我们定义了一个操作符R，它是一个映射发送（θ，w）inΘ×bm（S×Z）+intoRw（y，Z，θ）：=（Rθw）（y，Z）表示所有（y，Z，θ）∈ S×Z×Θ。（51）下面的引理显示了算子Rθ的一些有用性质。引理5.6。对于固定θ∈ Θ，如果ξ位于（0，1），则在（50）中定义的算子Rθ为isisotone且在bm（S×Z）+上凹。此外，函数Rθw是非负的，有界的，且在S×zw上可测∈ bm（S×Z）+且当w∈ bc（S×Z）+。引理证明5.6。固定θ∈ Θ. Rθ的等渗性很明显，因为标量函数R+ t 7→ tξ∈R+及其逆函数都严格地在R+上递增。自ξ起∈ （0，1），根据Hardy等人（1934）的定理198，我们知道Rθ是超加的，对于任何w，w′∈ m（S×Z）+，Rθ（w+w′）>Rθ（w）+Rθ（w′）。因此，Rθ的超可加性和正均一性共同决定了Rθ的凹性。实际上，选择任意λ∈ [0，1]和w，w′∈ m（S×Z）+，通过m（S×Z）+的凸性，我们得到rθ[λw+（1- λ） w′）>Rθ（λw）+Rθ（（1- λ） w′（通过超加性）=λRθ（w）+（1- λ） Rθ（w′）（通过正均一性），如图所示。关于引理5.6的第二个主张，Rθw的非负性和有界性是直接的，很容易看出，Rθw在S×Z上是Borel可测的，只要w∈bm（S×Z）+。现在Fix w∈ bc（S×Z）+。

我们注意到函数wξ也位于c（S×Z）+。然后，利用πθ的Feller性质，映射S×Z （y，z）7→这一结果也可以被视为相反的Minkowski不等式，例如，参见Dibenedetto（2002）第225页的Proposition3.2。定义在bmX的正锥bmX+上的算子称为正齐次（一阶），如果对于bmX+中的任何v和任何实数t>0，我们有一个（tv）=tAv。Rw（y，z′）ξπθ（z，dz′）∈R+在S×Z上是有界连续的。此外，映射S×Z （y，z）7→ [Rw（y，z′）ξπθ（z，dz′）]1/ξ∈R+是连续的onS×Z，因为映射t 7的倒数→ tξ在r+上也是连续的。因此，我们的要求如下。作为lemma5.6的一个应用，我们现在给出下一个结果。引理5.7。（51）中定义的运算符是从Θ×bm（S×Z）+到bm（S×Z×Θ）+的定义良好的映射。引理5.7的证明。固定（θ，w）inΘ×bm（S×Z）+。由于函数Rw的有界性和非负性是明显的，因此仍需证明Rw处的th在S×Z×Θ上是可测的。一方面，对于每个θ∈ 由引理5.6可知，函数Rw（·，·，θ）=Rθw:S×Z→R+是Borel可测量的。在另一个h和d上，对于每个（y，z）∈ S×Z，函数Rw（y，Z，·）：Θ→R+是连续的，因为Θ是一个有限集（具有离散拓扑）。在这方面，我们得出结论，函数Rw:S×Z×Θ→Ris是一个Carath'eodoryfunction，在这个意义上，每个θ的th为（1）∈ 函数Rw（·，·，θ）：S×Z→Ris Borel可测量；和（2）对于每个（y，z）∈ S×Z，函数Rw（y，Z，·）：Θ→Ris连续。根据引理4.51 inAliprantis和Border（2006），根据需要，Carath’eod ory函数Rw可以在S×Z×Θ上联合测量。

在这方面，（30）中定义的状态动作聚合器H可以简单地表示为两个操作器R和H的组合，如下所示（（s，z），y，^v）：=~H（（s，z），y，R^v），（52）和▄H（（s，z，y，H）：=（R（s，y，z）+βZh（y，z，θ）u（z，dθ）1/ξ）ξ（53）（s，z，y）∈甘地h∈ bm（S×Z×Θ）++。值得注意的是，（53）中定义的~H公式与（14）中定义的Hde公式几乎相同。因此，回顾第3.2.2节中与H相关的结果，我们有引理5.8。如果ξ<0，则（53）中定义的▄H在bm（S×Z×Θ）++上的第三个等距处为等规凹形。此外，地图（（s，z），y）7→H（（s，z），y，H）在任何时候都是可测量的∈ bm（S×Z×Θ）++，且当映射h（·，·，θ）：S×Z时连续→对于每个θ，R++是连续的∈ Θ.引理5.8的证明。与第3.2.2节中的证明类似，对于任何固定的b>0，我们考虑标量映射ψ（t）：=（b+βt1/ξ）ξ，其中t>0。由于ξ<0，很明显，标量函数ψ是连续的，严格递增的，并且严格凹于r++（参见第3.2.2节）。权利要求的第一部分直接来自ψ的单调性和凹性，以及积分的单调性和线性。对于剩余部分，fix h单位为bm（S×Z×Θ）++。（（s，z），y）7的Borel可测性→~H（（s，z），y，H）是明显的。现在fix一个函数h，满足映射h（·，·，θ）：S×Z→R++是连续的，对于每个θ∈ Θ . 由于分布u（·，·）的连续性和Θ的完整性，地图S×Z （y，z）7→Rh（y，z，θ）u（z，dθ）∈R++在S×Z上是连续的。然后，它从R上施加的连续性和ψth在（（S，Z），y）7处的连续性得出→~H（（s，z），y，H）是连续的。引理5.9。

Ifξ∈ （0，1）和ξ<0，则（30）中定义的状态动作聚合器H在其关于bm（S×Z）++的第三个参数中是等通和凹的。此外，地图（（s，z），y）7→ H（（s，z），y，v）是可测量的∈ bm（S×Z）++和连续ONGV∈ bc（S×Z）++。引理证明5.9。由于聚合器H是▄H和R的组合，通过引理5.6到5.8，H的等渗性、Borel可测性和连续性直接遵循▄H和d R的等渗性、Borel可测性和连续性。只剩下显示H的凹度。要看到这一点，fix（（s，z），y）∈G、 λ∈ [0，1]和w，w′在bm（S×Z）++中。对于任何给定θ∈ 通过Rθ的凹性和bm（S×Z）++的凸性，我们得到Rθ[λw+（1- λ） w′（y，z）>λRθw（y，z）+（1- λ） Rθw′（y，z）；也就是说，对于每个（y，z，θ）∈ S×Z×Θ，R[λw+（1- λ） w′（y，z，θ）>λRw（y，z，θ）+（1- λ） Rw′（y，z，θ）。在运算符表示法中，这转化为R[λw+（1- λ） w′）>λRw+（1- λ） Rw′。观察到，由于~H的等渗性和凹度，我们现在得到了H（（s，z），y，λw+（1- λ） w′）=~H（（s，z），y，R[λw+（1- λ） w′）>H（（s，z），y，λRw+（1- λ） Rw′）>λИH（（s，z），y，Rw）+（1- λ） ~H（（s，z），y，Rw′）=λH（（s，z），y，w）+（1- λ） H（（s，z），y，w′），其中t和最后一个等式紧随（52）中H的定义，而第一个和第二个不等式分别紧随H的等渗性和凹性。这就完成了证明。类似地，（36）中定义的状态动作聚合器H可以表示为asH（（s，z），y，^v）=H（（s，z），y，R^v），操作符R定义如上，但▄H（（s，z），y，H）：=exp(1 - η)r（s，y，z）+β1- ηlnZh（y，z，θ）u（z，dθ）（54）对于所有（（s，z），y）∈甘地h∈ bm（S×Z×Θ）++。观察到，上面定义的~H公式与H定义的公式（23）几乎相同。在这方面，回顾第3.3节中与H相关的结果，很容易看到引理5.10。

如果η>1，则（54）中定义的~H是等距的，在bm（S×Z×Θ）++上的第三个等距处是凹的。此外，地图（（s，z），y）7→H（（s，z），y，H）在任何时候都是可测量的∈ bm（S×Z×Θ）++，且当映射h（·，·，θ）：S×Z时连续→对于每个θ，R++是连续的∈ Θ.引理5.10的证明。类似于引理5.8的证明，对于固定b∈R、 我们考虑标量映射ψ（t）：=exp(1 - η)b+β1- ηln t（t>0）。很明显，这个标量函数ψ是连续的、严格递增的和严格凹的。因此，引理5.10的剩余证明与引理5.8的相同，因此在此省略。有关该ψ的相关结果的更多详细信息，请参阅第3.3节。引理5.11。Ifξ∈ （0，1）且η>1，则状态作用聚合器H definedin（36）在其关于bm（S×Z）++的第三个参数中是等同形和凹形的。此外，地图（（s，z），y）7→ H（（s，z），y，v）是可测量的∈ bm（S×Z）++和连续ONGV∈ bc（S×Z）++。引理5.11的证明。引用引理5.6、5.7和5.10，证明与引理5.9相同，因此省略。5.4. 第3.5节的证明。引理3.1的证明。设常数m和m如（15）所示。当B在紧集上连续时，存在一个有限常数L：=min（（s，z），y）∈GB（s，y，z）和L：=最大值（（s，z），y）∈GB（s、y、z）。情况一：ρ<1<γ。为了说明引理3.1的条件（SL），我们首先声明存在一个正常数函数W，例如对于固定（（s，z，y）∈G、 我们有h（（s，z），y，w）=（r（s，y，z）+βw1级-γ+B（s，y，z）1.-ρ） θ>（M+βw1级-γ+L1.-ρ） θ>w（s，z）。

（55）显然，一致严格不等式（55）意味着这种正恒常函数满足条件（SL）。为了证明存在一个正常数函数Wsatizing（55），我们注意到，由于0<1- ρ<1和θ<0，以下等效关系成立（M+βw1级-γ+L1.-ρ） θ>w<==>wθ- Mβ1.-ρ- w1级-γ- L>0。设d：=w1-γ和setД（d）：=d1-ρ- Mβ1.-ρ- d- L（d>0），表示（55）成立，等于表示存在一个正常数d*以便*) > 0.为了证明后者为真，可以验证间隔（d，∞) R++为正，式中：=[M/（1- β1/ρ)]1/(1-ρ). （我们有d>0，因为M>M>0。）因此，在（d，∞). 这意味着Д（d）转到∞, 作为d→ ∞, 这反过来说明存在一个正常数d*> d使得*) > 0、让w：=（d）*)1.-γ完成条件证明（SL）。关于引理3.1的条件（U），我们声称存在一个正恒常函数wsuch，对于固定（（s，z，y）∈G、 我们有h（（s，z），y，w）=（r（s，y，z）+βw1级-γ+B（s，y，z）1.-ρ） θ（m+βw1级-γ+l1.-ρ） θ6 w（s，z）。（56）显然，为了证明上解w的存在，有必要证明存在一个正常数函数w满足（56）。进一步地，经过一些重排，我们注意到，（56）保持等同于wθ- mβ1.-ρ- w1级-γ- l 6 0。设w：=[m/（1- β1/ρ)]θ. 那么前面不等式的左边等于β1/ρ1-β1/ρmβ1.-ρ-m1级- βρ!1.-ρ- l=hβρ- 1im1- βρ!1.-ρ- l、 自β∈ （0，1）和ρ∈ （0，1），我们有β1/ρ- 1 < 0. 此外，从m>0和l>0可以看出，上述等式的右侧为负值。

这反过来意味着，对于上述wde，（56）是满足的，这验证了条件（U）。要查看w<w，请观察0<d<d*和1- γ<0意味着0<w≡ （d）*)1.-γ<（d）1-γ. 此外，由于m 6 m和dθ<0，我们有（d）1-γ≡ [米/（1）- β1/ρ）]θ[m/（1- β1/ρ)]θ≡ w、 我们现在可以得出这样的结论：w<w，正如所希望的那样。情况二：1<ρ<γ。在这种情况下，的pro类似。关于Lemma3.1的条件（SL），我们首先声明存在一个正常数函数wsuch，对于固定（（s，z），y）∈G、 我们有h（（s，z），y，w）=（r（s，y，z）+βw1级-γ+B（s，y，z）1.-ρ） θ>（m+βw1级-γ+L1.-ρ） θ>w（s，z）。（57）一致严格不等式（57）表示满足条件（SL）。为了证明存在一个正常数函数Wsatizing（57），我们注意到，由于1- ρ<0，θ>1，以下等效关系成立（m+βw1级-γ+L1.-ρ） θ>w<==>wθ- mβ1.-ρ- w1级-γ- L>0。让d≡ w1级-γ和设定φ（d）：=d1-ρ- mβ1.-ρ- d- L（d>0），表示（57）成立等于表示存在正常数*使得φ（d*) > 为了证明后者成立，可以检查φ在区间（d，m1/（1））上的倒立二阶导数-ρ)) R++为正，式中：=[m/（1- β1/ρ)]1/(1-ρ). 因此，φon的图h（d，m1/（1-ρ） ）向上凹。因此φ（d）app roaches+∞ 当d接近m1/（1）时-ρ). 因此，存在一个正常数d*∈ （d，m1/（1-ρ） ）满足φ（d）*) > 0、最后，对于这样的d*, 出租W≡ （d）*)1.-γ完成条件证明（SL）。接下来，为了显示条件（U），我们首先声明存在一个正常数函数wsuch，对于固定（（s，z），y）∈G、 我们有h（（s，z），y，w）=（r（s，y，z）+βw1级-γ+B（s，y，z）1.-ρ） θ（M+βw1级-γ+l1.-ρ） θ6 w（s，z）。（58）为了证明上解w的存在性，必须证明存在正常函数w满足（58），或等效，wθ- Mβ1.-ρ- w1级-γ- l 6 0。设w：=[M/（1- β1/ρ)]θ.