状态约束期望效用的正则性性质

最优策略（定理2.4）的存在性和唯一性以及映射R7的凹性→ V（T，X，R），对于固定的T，X（引理2.2），得出前面引理的剩余条件是满足的。推论3.5。假设u′是凸的且是递减的。然后，值函数是二次可微的，具有二次偏导数EVRR（T，X，R）=Eu′\'Rξ*T,ξ在哪里*是与V（T，X，R）相关的最优策略。证据这与理论3中的一个相似。将引理3.3应用于u′和命题3.1得到。备注3.6。如果，例如，u是指数函数的凸组合，或者，更一般地，如果(-u） 是一个完全单调函数，即N∈ N*: (-1） n(-u） （n）≥0.根据Hausdor ff-Bernstein-Widder定理（参见Widder（1941）或Donoghue（1974），第21章），这相当于[0，∞[如此]-u（x）=Z∞E-xtdu（t）。3.2. 值函数的连续性。我们的价值函数连续性的证明将分为两个命题。我们将首先证明它的上s emi连续性，然后证明它的下半连续性。为了证明上半连续性，我们将使用与证明最大化问题（2.8）的最优策略存在性相同的技术。证明下半连续性的主要思想是利用（2.8）的最优策略和相应的指数函数在某一点上的最优策略的凸组合。在这里，我们必须区分两种情况；从上面近似值函数的情况，以及从下面在时间上近似值函数的情况。在续集中∈˙X（T，X）我们将自动为T设置ξT=0≥ T提案3.7。值函数在[0]上是上半连续的，∞[×Rd×R.证明。

拿T、 X，R∈ ]0 , ∞[×Rd×R，让Tn，Xn，Rnnbe收敛到T、 X，R.我们必须证明（3.4）lim supnV（Tn，Xn，Rn）≤ V（T，X，R）。自从Tn，Xn，Rnnand Vi（Tn，Xn，Rn）是有界的，因此lim supnV（Tn，Xn，Rn）是有界的∞, 不符合（2.10）。假设（V（Tn，Xn，Rn））收敛于tolim supnV（Tn，Xn，Rn）。设ξnbe为与V（Tn，Xn，Rn）相关的最优策略，该策略适用于everyn∈ N、 根据定理2.4。在续集中，我们证明了，如引理2.12所示，序列ξ在弱序紧集中。请注意，这一观点可以在不使用假设的情况下得到证明。15.第一步：我们设置：=supnTn。我们会证明，每n∈ N、 我们有ξN∈ Km，前提是m足够大，其中Km=nξ∈ C˙X（Tn，Xn）NE泽夫(-ξt）dt≤ 其中c（˙X（Tn，Xn））表示集合序列（˙X（Tn，Xn））n的闭凸包。为此，我们使用Remark2。13，注意我们可以选择ξn∈ Kmn，其中必须选择MN≥-V（eT，Xn，Rn）A+Rn+N,N只依赖于f，b和t。现在就拿我来说∈ R以至于≥ 这是upnmn。注意，这样的m是存在的，因为（Xn，Rn）是有界的，并且是连续的。然后它就跟在后面了泽夫(-ξnt）dt≤ 我代表所有人∈ N.现在取sets（˙X（Tn，Xn））N序列的凸包，我们得出结论ξN∈KMN∈ N第二步：我们将证明KM是弱序列紧的。为此，我们将首先证明它是L中的闭凸集。集合K是凸的，因为映射ξ7-→ 埃雷特(-ξt）dt是凸的（由于f的凸性），定义在凸集C上˙X（Tn，Xn）n、 我们将证明它相对于L-范数是封闭的。用序列（Xn）n的闭凸壳表示，序列（Xn）n在Rd中有界。我们证明了对于ξ∈ Kmthere existseX inC（Xn）确认∈˙X（东部，东部）。

为此，我们将ξ写成ξni的共凸组合∈˙X（Tni，Xni），ξ=λξn+·λ+λsξns，其中psi=1λi=1，λi≥ 0.通过表达对ξni的约束，我们得到λiZTiξnitdt=λiXni，这意味着zetξtdt=sXi=1λiZTiξnitdt=sXi=1λiXni=eX。现在取一个序列（eξq）qofkmt，它在L-范数中收敛到清算策略eξ。我们证明了ξ∈˙X（eT，eX）外汇∈如前所述，存在一个序列 C（Xn）nsuch thateξq∈˙X（eT，eXq）。因此，我们有ζqdt=eXq，P-a。s、 如果必要的话，用s ubs序列替换（eXq）qq，我们可以假设它收敛到s omeeX，因为这个序列是有界的。此外，由于（eξq）qc弱地收敛于ξ，我们现在处于引理2.9的设置中，这确保了eξ∈˙X（eT，eX），以及E[ReTf(-eξt）]≤ m、 因此，这证明了Kmisa是L的闭子集。由于Kmis是凸的，所以它对于L的弱拓扑也是闭的。因此，证明Kmis是一致可积的是有效的。为此，取ε>0和ξ∈ 公里。存在α>0使得|ξt | f(-ξt）≤εm，例如ξt> α、 由于f的超线性增长性质，由于ef（x）=0当且仅当x=0时，项1/f(-ξt）在{|ξt |>α}上有很好的定义，henceEZT{|ξt |>α}ξtdt≤ EZT{|ξt |>α}f(-ξt）dtεc≤ ε、 这证明了KM的一致可积性。最后一步：我们证明了（ξn）是弱序列紧集Km中的一个序列。因此，存在ξ和某些ξ的子序列ξ∈Km使得ξnk在L中弱地收敛于ξ。我们再次在引理2的设置中。这让我们可以推断出ξ∈˙X（T，X）。最后，因为ξ7-→ 对于L的弱拓扑，E[u（RξT）]是上半连续的，由于命题2.14，我们得到lim supnV（Tn，Xn，Rn）=lim supkEhuRξnkT我≤ 埃胡ReξT我≤ V（T，X，R），其中最后一个不等式是由V at（T，X，R）的定义和eξ∈˙X（T，X）。

这就是V的上半连续性的证明。下面，我们将证明值函数V的下半连续性。与V的上半连续性的证明相反，我们需要考虑两种情况；当时间序列从上到下收敛到最佳时间T时。对于后一种情况，我们首先需要推导出时间内值函数的某个lowersemi连续性性质，对于固定的X，R。证明下半连续性的困难部分是因为，当我们从下面近似时间时，加速策略无法用于证明结果，因为我们当时面临可测量性问题。因此，我们将不得不使用其他技术。我们首先需要证明以下引理，它给出了一个充分条件，以确保当RηnT收敛到RηT时，期望效用E[u（RηnT）]收敛到E[u（RηT）]。引理3.8。让ηn∈˙X（T，X）是一系列策略，使得Rηntt在概率上收敛到RηT，其中η∈˙X（T，X）。此外，假设（exp(-2ARηnTn）在L中均匀分布。然后我们有（3.5）EhuRηnT我-→N-→∞埃胡RηTi、 证据。我们需要证明（u（RηnT）n）在L中是一致有界的，但这是t（E[u+（RηnT）]有界这一事实的直接结果，对于所有n∈ N、 E[（u-（RηnT））]≤ E[exp(-2ARηnTn）]，由于质量原因（2.7）。自E[exp(-2ARηnTn）]∞, 应用Vitali的收敛定理，我们得出结论RηnT我-→N-→∞埃胡RηT我下一个例子是随机积分的分部积分公式的直接结果。引理3.9。让ξn∈˙X（T，X）收敛到某ξ∈L[0，T]弱收敛意义下的˙X（T，X），P-a.s.ThenZT（Xξnt）σdBt-→N→∞ZT（Xξt）σdBtP-a.s.现在我们准备陈述并证明以下命题。提案3.10。

Let（T，X，R）∈ ]0, ∞[×Rd×R和Tn是从下到T收敛的正实数序列，即Tn↑ T然后我们有（3.6）lim infnV（Tn，X，R）≥ V（T，X，R）。证据在下面，我们需要假设2.15。Let（T，X，R）∈ ]0, ∞[×Rd×R和ξ∈X2A（T，X）。定义ξ：]0，∞[-→ RT 7-→ EURξT.注意，mapξ在[T]上是常数，∞[.我们证明了ηξ在T处是连续的。为此，我们可以采用一个序列（Tn），使Tn↑ 并证明（3.7）ξ（Tn）-→ Дξ（T）或等效的EURξTn-→ EURξT.我们很容易得到收敛性（3.8）RξTn=ZTn（Xξt）σdBt+ZTnb·Xξtdt-ZTnf(-ξt）dt-→N→∞RξTP-a.s.因为u是连续的，所以我们得到（3.9）limnuRξTn= URξT现在，我们必须证明序列的有界性（E[exp(-关于这件事，我们写信给经验- 2ARξTn≤ KEhexp- 2AEZT（Xξt）σdBt+ZTb·Xξtdt-ZTf(-ξt）dtFTni我≤ 凯赫克斯普- 2AZT（Xξt）σdBt+ZTb·Xξtdt-ZTf(-ξt）dtFTnii=KEhexp- 2AZT（Xξt）σdBt+ZTb·Xξtdt-ZTf(-ξt）dt我∞,式中，K=exp（T|b|kXξkL）是使用H¨older不等式获得的，最后一项的完整性是否随ξ而变∈X2A（T，X）。因此，序列（u（RξTn）在L中是一致的，从这里我们利用Vitali的收敛定理推断URξTn-→N→∞EURξT,这证明了（3.7）。因此，ξ在T处是连续的，而supξ在T处是连续的∈˙X2A（T，X）ξ在T处是下半连续的，因为它是（下半）连续函数族的上确界。Sincesupξ∈˙X2A（T，X）ξ（T）=V（T，X，R），这特别证明了对于从下面收敛到T的每个时间序列tn，我们有（3.10）lim innfnsupξ∈˙X2A（T，X）ξ（Tn）≥ supξ∈˙X2A（T，X）ξ（T）=V（T，X，R），这证明了（3.6）。现在我们可以导出值函数V的下半连续性。提案3.11。值函数在[0]上是下半连续的，∞[×Rd×R.证明。

Let（T，X，R）∈ ]0, ∞[×Rd×R和（Tn，Xn，Rn）nbe收敛到（T，X，R）的序列。我们必须显示（3.11）lim infnV（Tn，Xn，Rn）≥ V（T，X，R）。我们将（3.11）的证明分为两部分；首先，我们假设Tn↓ 第二，我们假设↑ T（对于后一种情况，我们将使用命题3.10）。第一种情况：假设↓ T我们设置（3.12）λn:=（|Xn）- 十、, 如果|Xn- X | 6=0，n，否则，它属于[0，1]，对于足够大的n。现在让我们来看bxn∈ Rd应确保Xn=（1- λn）X+λnbxn考虑策略序列ξnt:=（1）- λn）ξ*t+λnbξnt，其中ξ*是与V（T，X，R）相关联的最优策略，bξ是与V（Tn，bXn，Rn）相关联的最优策略。注意，由于λn的选择，向量bxn是有界的：实际上，我们有bxn=Xn- Xλn+λn+X是有界的，这是由于X的有界性和λn的定义。因此，V（Tn，bXn，Rn）是有界的，这意味着RTNF(-bξnt）dt再次有界于n。因为f具有超线性增长且是正的，所以积分n|-bξnt|dt也有界于n。观察ztnξntdt=（1- λn）ZTnξ*tdt+λnZTnbξntdt=（1）- λn）X+λnbXn=Xn，其中la st等式跟随s和Tn≥ 以及ξ*t=0表示t≥ T此外，由于f a的凸性和Bξn的有界性，ξn（2.3）为∈˙X2A（Tn，Xn）。现在我们展示了t（3.13）RξnTn=ZTn（Xξnt）σdBt+ZTnb·Xξntdt-ZTnf(-ξnt）dt-→N→∞Rξ*T、 P-a。s、 ，通过从左侧开始单独使用每个术语。因为n | bξnt | dt是一致有界的，所以ξn收敛于ξ*在L[0，T]中，P-a.s.的确，我们写道ZTnξnt- ξ*Tdt= λnEZTnbξntdt+ EZTTnξ*Tdt-→N→∞因此，引理3。9 yieldsZTn（Xξnt）σdBt-→N→∞ZT（Xξ）*（t）σdBt。由于Xξnt=（1- λn）Xξ*t+λnXbξntP-a.s.适用于所有t∈ [0，Tn]，我们可以将（3.13）中的第二个积分表示为：ZTnb·Xξntdt=（1）- λn）ZTb·Xξ*tdt+λnZTnb·Xbξntdt，收敛于P-a.s。

toRTb·Xξ*tdt，因为nb·Xbξntdt是一致有界的，λnis是一个空序列。我们现在证明（3.14）ZTf- (1 - λn）ξ*T- λnbξntdt-→N→∞ZTf(-ξ*t） 由于f的连续性，我们有f- (1 - λn）ξ*T- λnbξnt-→ F- ξ*T, P-a。s、 因为f是凸的，我们进一步得到0≤ F- (1 - λn）ξ*T- λnbξnt≤ (1 - λn）f- ξ*Tdt+λnf-bξnt.辛瑟夫(-bξnt）dt在n上一致有界，Lebesgue的支配收敛定理暗示了（3.14）。因此，（3.13）成立，再次（3.15）limnuRξnTn= URξ*TP-a.s.，进一步利用u的连续性，利用L:=supnV（Tn，bXn，Rn），我们得到exp(-2ARξ（nTn）≤(1 - λn）exp(-2ARξ*Tn）+λnexp(-2ARbξnTn）≤(1 - λn）MRξ*T（2A2）+λnL< ∞,因为ξ7→ 经验(-2ARξTn）是凸的，Tn≥ T，与Ass umption2结合使用。15.因此，应用引理3.8给出URξnTn-→N-→∞EURξ*T.最后，我们可以编写infnV（Tn、Xn、Rn）≥ 林因夫内胡RξnTni=EhuRξ*Ti=V（T，X，R），当Tn↓ T第二种情况：现在支持Tn↑ T我们让λnandbXn∈ （3.12）中的RDA，并考虑以下策略序列ξnt:=（1）- λn）ξ*,nt+λnbξnt，其中ξ*,nis是与V（Tn，X，R）相关的最优策略，bξnis是与V（Tn，bXn，Rn）相关的最优策略。如上所述，我们可以证明ξn∈˙X2A（田纳西州，北疆），其中，infnV（田纳西州，北疆州，北疆）≥ 林英芬UR（1）-λn）ξ*,n+λnbξnTn≥ 林恩芬(1 - λn）EURξ*,新界北+ λnEURbξnTn≥ lim infn（1）- λn）V（Tn，X，R）+lim infnλnV（Tn，Xn，Rn）≥ V（T，X，R）。这里，我们使用了ξ7的凹度→ 对于第二个不等式，E[u（RξT）]，对于第三个不等式，不等式（2.10）和命题3.10，结合V（Tn，Xn，Rn）为零序列的事实，对于最后一个不等式。当Tn↑ T作为命题的推论。7和位置3.11，我们得到了以下基本结果。定理3.12。

值函数V在[0]上是连续的，∞[×Rd×R.3.3.贝尔曼原理和ε-最大化子的构造。在本节中，我们证明了最大化问题（2.8）背后的贝尔曼最优性原理为此，我们使用在有界区域上构造的ε-极大值。通过使用n个近似策略序列证明了它们的存在性。因此，我们在这里避免使用可测量的选择定理，这通常出现在最优控制理论中。动态编程原理是证明验证定理和一个定理的关键结果，该定理表明价值函数是哈密尔顿-J阿科比-贝尔曼方程的粘性解。从现在起，在固定时间内∈ ]0, ∞[，我们将考虑时间反转值函数：t7→ V（T）- t、 X，R），我们假设(Ohm, F、 P）是规范的维纳空间。定理3.13。（贝尔曼原理）Let（T，X，R）∈ ]0, ∞[×Rd×R。那么我们有（3.16）V（T，X，R）=supξ∈˙X（T，X）E五、T- τ、 Xξτ，Rξτ对于[0，T]中取值的每个停止时间τ，注意Bouchard和Touzi（2011）发展了一个动力学原理的弱公式，在一些最优控制问题中，该公式可用于推导相应值函数的粘度特性。然而，这需要策略的以下串联特性（假设a）：对于ξ，η∈˙X（T，X）和停止时间τ∈ [0，T[，我们必须有ξ[0，τ]+η]τ，T]∈˙X（T，X），但这不是一般情况，因此在我们的工作中不可用。在Bouchard和Nutz（2012）中，提出了具有广义状态约束的动力学原理的另一个弱公式。

这里同样需要以下形式的连接属性（假设B）：对于ξ，η∈˙X（T，X）和a次∈ [0，T]，它必须保持XξT=Xξs-Rtsηudu，代表t≤ s、 这也不是一般情况，因此不能直接应用于这里。理论的证明。13分为两部分。为了便于参考，我们首先对f.假设3.15进行以下假设。从现在开始，我们假设f最多有一个p次的多项式增长，也就是说，存在C>0这样的f（x）≤ C（1+| x | p）表示所有x∈ 此外，为了避免可测量性问题，我们需要假设T∈ ]0, ∞[, (Ohm, F、 （Ft）t∈[0，T]，P）是标准维纳空间。从这个角度来看，让我们从证明一些可测量性结果开始。在这里，我们还将把注意力限制在假设2中提到的˙X2A（T，X，R）中的策略上。引理3.16。对于ω∈ Ohm, 定义地图φω：Ohm → Ohm 通过φω（eω）=（ω（s），对于s∈ [0，τ（ω）]，ω（τ（ω））+eω（s）- eω（τ（ω）），对于s∈ ]τ（ω），T]，其中τ如（3.16）所示。此外，对于ξ∈˙X（T，X）我们定义ξωT（eω）：=ξTo φω（eω）。然后，对于P-a.e.ω，（3.17）EhuRξTFτi（ω）=EhuRξτ+Rξωτ，TFτi（ω）=EhuRξτ（ω）+Rξωτ（ω），Ti、 其中Reξt，t表示策略ξω在[t，t]期间产生的收入，即：Reξt，t=ZTt（Xeξs）σdBs+ZTtb·Xeξsds-ZTtf(-eξs）ds。为了证明前面的引理，我们必须使用下面三个引理。第一个例子的证据可以在Revuz和Yor（1999年）（由于Levy对布朗运动的描述）或Hunt和Kennedy（2004年）中找到。引理3.17。设τ为有界停止时间和（Bt）t∈[0,∞【一个布朗运动。TheneBt:=Bt+τ】- Bτ是独立于Fτ的布朗运动。下一个le mma使用Dynkin的π-λ定理。Se e，e.g.，Williams（1991），了解更多细节。引理3.18。

让F:R-→ [0, ∞[是一个可测函数，X独立于sigma代数a和a-可测。然后，（3.18）E[F（X，Y）A] （ω）=E[F（X，Y（ω））]P-A.s.证明。让我们首先考虑A=（A×A），Ai∈ B（R），i=1，2，和setF（x，y）：=A×A（x，y）=A（x）A（y）。使用ωX[Y]和ωX[Y]的独立性A] （ω）=A（Y（ω））E[A（X）A] （ω）=A（Y（ω））E[A（X）]=E[A（X）AY（ω）]。考虑一下nowD:={A∈ B（R）（3.18）保持F=A}。那么D是一个包含C:={a×a的Dynkin系统艾岛∈ B（R）}。由于交集C的稳定性，因此D σ（C）=B（R）。利用单调收敛定理，（3.18）对任意F。接下来的mma是前面两个结果的结果。引理3.19。让H：Ohm -→ [0, ∞[是一个可测量的函数，τ是一个停止时间，其值在[0，T]和φwde中，定义为ω的引理3.16∈ Ohm. 然后我们有Fτ]（ω）=E[Ho φω]P-a.s.我们现在可以证明引理3。引理3.16的证明。首先，注意rξTo φω（eω）=Rξτo φω（eω）+Rξτ，To φω（eω）=Rξτ（ω）+Rξωτ（ω），T（eω）表示P-a.e.eω∈ Ohm. 由于u从上方有界，我们可以将前面的引理应用于h:=-u（RξT）（如有必要，通过垂直平移u），我们最终将T（当在u前面放下负号时）EURξTFτ（ω） =EURξTo φω= EURξτ（ω）+Rξωτ（ω），T,这证明了引理。下面的引理给出了指数函数在某个停止时间的上界，其值在[0，T]中。它使用了引理3.16的符号。对于d=1，可以在Chied和Sch¨oneborn（2008）中找到类似的结果。引理3.20.设V（T，X，R）=infξ∈˙Xdet（T，X）E经验(-ARξT）τ是一个停止时间，其值在[0，T]中，我们有（3.19）V（T）- τ、 Xζτ，Rζτ）≤ E经验(-ARζT）|Fτ每ζ的P-a.s∈˙X（T，X）。证据