分布约束优化问题的动态规划原理

结合我们的花冠y 3。10根据他们的结果，我们看到，对于[3]中考虑的成本函数和约束，当限制为布朗停止时间时，值函数与弱问题的值函数一致。因此，a-poster iori，我们将其结果恢复为我们的特例。3.3。民进党的证明。由于我们的目标函数是以拉格朗日形式给出的（随时间积分的奖励函数），我们首先引入一个额外的状态变量（控制其累积值），以便将其转换为迈耶形式。规范，给定（t、w、y）∈ R+×C（R+）×R a和ξ·∈ MVM，我们定义了过程y，w，y，ξu：=y+Zutc重量，w·∧s、 sdAξs；（3.9）我们注意到，它允许一个明确的极限，我们用Yt、w、y、ξ表示∞. 对于（t，w，y，ξ）∈ R+×C（R+）×R×P，我们引入值函数v（t，w，y，ξ）：=supξ·∈MVMt（ξ）E[钇、钨、钇、ξ∞].（3.10）分布约束最优停车的DPP 11那么，如果对于任何F-停车时间θ，其值为（t，∞), 它认为，v（t，w，y，ξ）=supξ·∈MVMt（ξ）Evθ、 重量，w·∧θ、 Yt，w，y，ξu，ξθ.（3.11）我们的目的是通过考虑关联正则路径空间上的弱公式来证明这个结果；规范框架之前已成功地用于研究随机控制表ms（见[17，18]），另见[25]和[21，22]，并用于推导DPP（见[9]）。我们用D表示[0]上的c\'adl\'ag路径集，∞) 取E中的值：=R×R×P，其中我们用W-度量导出的拓扑来装备P，用乘积拓扑来装备E；这将渲染E一个波兰空间，并使用斯科罗霍德拓扑图D它也是一个波兰空间。D中的一般路径用ω表示，我们使用x=（W，Y，ξ）作为坐标过程：Xt（ω）=（Wt，Yt，ξt）（ω）=ω（t）；我们还将使用符号x来表示D中的路径。

我们设F={Ft}t∈[0，∞)表示协调过程X生成的过滤。B（D）上的所有概率度量集用P表示；对于（t，x）∈ R+×D，我们用Pt，x表示P中的概率度量集P，其中（i）Xs=Xs，0≤ s≤ t、 P-a.s。；（二）（吴）- Wt）u≥这是a（F，P）-布朗运动；（iii）（ξu）u≥这是一个适应的测度值（F，P）-鞅，（iv）Yu=y+Rutc（W·∧s、 s）dAξs，对于u≥ t、 P-a.s.，其中aξs=ξs（[0，s]）。值得注意的是，Pt，xonly依赖于x via（W·∧t、 Yt，ξt）（x）；为了便于理解，我们保留了以前的符号。我们注意到存在一个可测的函数G:D→ R+，使得G（ω）=limt→∞Yt（ω）w他从不存在极限（回想一下，c（·，·）是可测量的，见引理3.12 in[25]）；特别是对于任何P∈ Pt，x，带（t，x）∈ R+×D，我们有G=limt→∞Yt，P-a.s.然后我们定义（3.12）v（t，x）：=支持∈Pt，xEP【G】。引理3.12。（3.10）和（3.12）中定义的值函数一致。证据W、 l.o.g.，设t=y=0，ξ=u，x=（0，W，0，u）。首先，让K（u）表示所有项的集合κ=(Ohmκ、 Fκ，Fκ，Pκ，Wκ，ξκ），使得(Ohmκ、 Fκ，Fκ，Pκ）是一个过滤概率空间，其中Wκ是BM，ξκ是一个ξκ=u的自适应MVM；我们用Yκ表示通过（3.9）定义的相关过程。然后我们得到v（0，x）=supK（u）E[Yκ∞]. 实际上，任何多重κ∈ K（u）在P0，x中产生一个项。相反，任何概率测度P∈ P0，x与空间（D，B（D），FP）和正则过程（W，ξ）一起产生这样的倍数，这是因为性质（i）-（iv）也适用于增强过滤FP。接下来，根据Emma 3.3和备注3.4（参见（3.3）），我们得到了supK（u）E[Yκ∞] = v（0，w，ξ）。由于v（0，w，ξ）=v（0，w，0，ξ），结果如下。为了建立问题（3.12）的DPP，我们首先建立两个引理。引理3.13。集合Γ：={（t，x，P）：（t，x）∈ R+×D，P∈ Pt，x}是解析的。证据

为了0≤ q<r，Ξ∈ Cb（D，Fq），^1∈ Cb（R）和A∈ B（R+），我们考虑R+×D×P:a{（t，x，P）：P（Xr）的下列子集∧t=x（r∧ t） ）=1}；（b）（t，x，P）：EPΞ^1（Wr∨t）- ^1（Wq∨t）-Rr（右后）∨tq公司∨tü′′（Wu）du= 0;我们注意到，如果在R+上配备一组概率测度，其中ξ·取其值，并且具有弱拓扑，则本节中给出的论点也有效。因此，与[9]中考虑的可靠定价情况相比，这里u有一个确定的第一时刻的假设可能会被削弱。然而，我们发现这一假设相当自然，为了与本文的其余部分保持一致，我们将其贯穿始终。12 SIGRID K–ALLBLADc）（t，x，P）：EP[Ξ（ξr∨t（A）- ξq∨t（A））]=0;d） {（t，x，P）：P（ξr（A∩ [0，r]）=ξq（A∩ [0，r]）=1}；e）（t，x，P）：P年∨t=y+Rr∨ttc（W·∧u、 u）dAξu= 1..上述集合都是Borel可测量的。此外，当q<r允许在r+中的所有有理数之间变化时，Γ是上述集合的交集；在Cb（D，Fq）和Cb（R）的可数稠密子集中的Ξ和Ξ；在生成B（R+）的可数集合中。事实上，对于ξ的适应性性质，请注意，对于任何t<s<u，它都认为ξu（A∩ [0，s]）=ξr（A∩ 对于任意有理数r，[0，s]）∈ （s，u），因此ξu（A∩ [0，s]）=limrs，r∈Qξr（A∩ [0，s]）=ξs（A∩ [0，s]），a.s.，其中在最后一个等式中使用了ξ的右连续性；维护属性为immedia te。因此，Γ也是Borel，因此是分析性的。A图Q:D×B（D）→ 如果i）Q（ω，·），则称[0，1]为（普遍）可测核∈ P表示所有ω∈ D、 和ii）D ω→ Q（ω，A）对于所有A都是（普遍）可测量的∈ B（D）。

回想一下，泛σ-代数是Borelσ-代数的完备度在空间上所有概率测度上的交集，并且泛可测函数对于任何此类概率测度都是可积的；我们将使用上标U表示通用补全。我们为概率测度Q（ω，·）写Qω，并将Q解释为（普遍）可测的ma p D→ P、 进一步，给定一个随机时间θ和两条路径ω，ω′∈ 当Xθ（ω）（ω）=Xθ（ω）（ω′）时，我们定义串联ωθω′是由xt（ω）给出的D的元素θω′）=1{t<θ（ω）}Xt（ω）+1{t≥θ（ω）}Xt（ω′）。给定概率测度P∈ P和一个普遍可测的核Q·，然后定义串联PθQ·作为P中的概率测度，由（P）给出θQ·）（A）=ZZA（ωθω′）Qω（dω′）P（dω），A∈ B（D）。引理3.14。给定（t，x）∈ R+×D，设P∈ Pt，x和θ为F-停止时间，值为（t，∞). 然后，i）有一个r.c.p.d.（pω）ω族∈Dof P w.r.t.Fθ，如Pω∈ Pθ（ω），ω对于P-几乎每个ω∈ Dii）给定（Qω）ω∈D取ω7→ Qω是FUθ-可测且Qω∈ Pθ（ω），ω对于P-几乎每个ω∈ D、 PθQ·∈ Pt，x.Proof。i） 由于Fθ是可数生成的，因此存在r.c.p.d.（pω）ω族∈Dof P，使得Pω（Xs=ωs，s∈ [0，θ（ω）]）=1。回想一下[24]中的定理1.2.10，对于[t]上的给定鞅M，∞), 存在一个P-null集N∈ Fθ使得对于每个ω6，M是θ（ω）之后的Pω-鞅∈ N由于W是BM和ξa MVM这一事实的特征是MИ·=Д（W）的鞅性质·∧t）- ^1（重量）-R·tИ′（Wu）du和ξ·∧t（A），其中φ穿过Cb（R）的可数稠密子集e t，A穿过生成B（R+）的可数代数，我们得出结论，存在一个P-空集N∈ Fθ使得对于每ω6∈~N，W isa BM和ξa MVM在θ（ω）上，∞) 在Pω下。

此外，回想一下ξ的adaptednessproperty和property iv）分别以ξs（A∩ [0，s]）=ξu（A∩ [0，s]）所有t≤ s≤ u、 和Yu=Rutf（Xu）dAξua。s、 对于所有u≥ t、 因为任何P-空集都是P-几乎所有ω的Pω-空集∈ Ohm, 因此Pω∈ Pθ（ω），ω对于P-几乎每个ω∈ D、 ii）给定（Qω）ω∈在引理的陈述中，应用[24]中的定理1.2.10（参见[18]中引理3.3的证明），我们得到了·∧tandξ·∧如上所述，t（A）实际上也是P下的鞅θQ·。此外，由于Pω下的一个集是P-几乎所有ω的空集∈ D、 aA DPP对于分布约束的最优停止13null集是否也在P下θQ·，我们得出结论，在后一种测度下，适应性性质和性质iv）也成立；因此，PθQ·∈ Pt，x。我们现在准备证明民进党对于弱势问题的表述。Wenote指出，考虑到引理3.13和3.14所提供的分析性和稳定性，结果后面是相当标准的参数；参见【22】中的T heorem 2.3或【18】中的EOREM 2.1；为了完整性，我们提供了证据。回想一下，我们使用的是约定E[Ξ]=E[Ξ+]- E[Ξ-] 具有∞ - ∞ = -∞, 对于任何随机变量Ξ：定理3.15。对于所有（t，x）∈ R+×D，以及任何F-停止时间θ，其值为in（t，∞), 它认为v（t，x）=supP∈Pt，xEP[v（θ，X·∧θ） 】。证据给定（t，x）∈ R+×D和F-停止时间θ，值为（t，∞), letP公司∈ Pt，xand回顾，根据引理3.14，存在一个给定Fθ的r.c.p.d.族，比如（pω）ω∈D、 使得Pω∈ Pθ（ω），ω对于P-几乎每个ω∈ D、 根据r.c.p.D.的性质，我们得到EP【G】=EPEPω【G】≤ EP[v（θ，X·∧θ） ，其中Pω∈ Pθ（ω），ω意味着EPω[G]≤ v（θ（ω），ω），对于P-almosteryω∈ D

因此v（t，x）≤ 支持∈Pt，xEP[v（θ，X·∧θ） ]自P以来∈ Pt，x是任意选择的。接下来，回想一下根据引理3.13，集合Γ={（t，x，P）：P∈ Pt，x}分析。特别是，这意味着v是上半解析的。实际上，v的水平集由{（t，x）给出∈ R+×D：v（t，x）>c}=projR+×DL>c，其中w>c：=（t，x，P）∈ R+×D×P：EP【G】>c∩ Γ，c∈ R、 从第7页开始分析→ EP【G】是Borel可测量的。给定ε>0，那么，inturn，以下集合也是解析的：ε={（t，x，P）：EP[G]≥ vε（t，x）}∩ 式中，vε（t，x）：=（v（t，x）- ε） 1{v（t，x）<∞}+ε{v（t，x）=∞}. 给定（t，x）∈ R+×d和F-停止时间θ，值为（t，∞), 应用Jankov-vonNeumann的可测选择定理，得到了一个泛可测核（Qω）ω的存在性∈D、 带Qω∈ Pθ（ω），ω和EQω[G]≥ vε（θ（ω），ω），对于每个ω∈ DGalmarino检验表明Q·是FUθ-可测的。此外，根据EMMA 3.14，对于任何P∈ Pt，xwe有PθQ·∈ Pt，x.因此，v（t，x）≥ EP公司θQ·[G]=EP公式ω≥ EP[vε（θ，X·∧θ） 】。因为ε>0和P∈ Pt，x都是任意选择的，我们得到v（t，x）≥支持∈Pt，xEP[v（θ，X·∧θ） ]这就完成了证明。通过使用与引理3.12证明中相同的参数，直接从该结果得出，关系（3.11）和关系（3.5）适用于任何θ，该θ是由布朗运动生成的过滤中的截止时间。理论3.6则从以下事实得出：任何F-停止时间都是可预测的，并且对于任何F-可预测时间θ，原始过滤比n中存在一个可预测的时间|θ，例如θ=|θa.s.附录a。假设目标和值函数具有一定的连续性，DPPA先验的另一种证明，我们在此提供了动态规划原理的另一种证明。

具体而言，考虑到Payoff函数允许马尔可夫结构并满足（2.6），本着[6，7]的精神（另见示例[1]），我们通过一个覆盖参数显式构造一个可测的优化子，从而绕过了对可测14 SIGRID K¨ALLBLADselection定理的需要。虽然结果是定理3.6的一个特例，但我们选择报告这一独立的论据，因为我们发现它是有意义的。在整个附录中，我们对元素inP应用了写入ξ的约定，对MVM应用了ξξ；在积分中，我们有时省略MVM上的下标，然后可以从以下意义上理解它们：R。。。ξξ（ds）=R。。。ξξ∞（ds）=R。。。dAξξs。此外，无限制积分应理解为从零到完整。如果一个成本函数c允许表示c（W），我们就说它是马尔可夫型的·∧τ、 τ）=f（Xτ），a.s.，对于某些f-Markov过程（Xt）t≥0∈ Rnand连续函数f:Rn→ R从原始问题公式（2.1）的角度来看，这是一种特定的马尔可夫结构，考虑到布朗过滤F（与toG相反）。对于一类马尔可夫型的代价函数，我们引入了函数v:S→ R、 其中S：={（t，x，ξ）∈ R+×Rn×P：suppξ [t，∞)} byv（t，x，ξ）：=supξξξ∈MVMt（ξ）E采埃孚Xt，xsdAξξs,（A.1）其中，MVMt（ξ）是一组连续自适应MVM，ξξt=ξ，与Ft无关。值得注意的是，如果放宽Ft的独立性条件（参见下文（A.3）和[8]中的命题2.4），该函数保持不变。我们强调，（A.1）中的积分是从零而不是从t中获得的，这意味着对于S中的一般点，函数v与（3.4）中引入的值函数不同，在时间t时，电势A t对其值有贡献。

然而，对于任何点（t，x，ξ）∈ S： ={（t，x，ξ）∈ S：补充ξ （t，∞)}, 我们认为它与价值函数相吻合；i、 e.然后￠v（t，x，ξ）=v（t，x，ξ）：=supξξ∈MVMt（ξ）E[R∞tf（Xt，xs）dAξξs]。lτ表示τ支撑的左端点，即lτ：=sup{t≥ 0:P（τ<t）=0}，对于任何ε>0和η∈ P、 我们写出Tε（η）：=∪ξ∈Bε（η）T（ξ）。我们现在可以在以下附加假设下证明DPP：假设A.1。给出了成本函数c为马尔可夫型，f局部有界；~v在S上是连续的；对于任何η∈ P、 存在ε>0和连续性μ的数量，因此：（t，x）7→ E[f（Xt∧lτ，xτ）]在R+×rnw.R.t.τ上是连续的∈ Tε（η）和c满足所有τ的假设2.2 w.r.T.Д∈ Tε（η）。假设A.1下定理3.6的证明：给定δ>0，对于（s，z，η）∈ S、 lets>S，使得η（（0，S））<δ，并且let∈ （s，s+s）。依次定义开放集a（s，z，η）：=（s- δ、 \'t）×Bδ（z）×ξ∈ P:W（η，ξ）<δ（(R)t- s） }。对于任何（t，x，ξ）∈ A（s，z，η），则它保持（用δ的任意倍数表示δ）ξ（（0，\'t））<δ，因此W（ξ| t，ξ）<δ。因此，存在“ξ”∈ P带抑制器ξ [(R)t，∞), 使ξ|(R)t∈ 对于任何（t，x，ξ），R（|ξ）和W（|ξ，ξ|t）<δ∈ A（s，z，η）；特别是，W（‘ξ，η）<δ和（‘t，x，’ξ）∈ S、 对于任何ε>0的情况，通过选择δ∨“t足够小，我们可以确保所有（t，x，ξ）∈ A（s，z，η），（i）| t-\'t|∨ ^1Wξ| t，\'ξ< ε和ξ（（0，’t]）|f（x）|∨ |v（t，x，ξ）|∨ 1.< ε、 式中，(R)是连续模量，使得（2.6）适用于ρ≥ τ∈ T（ξ），对于所有ξ∈ A（s，z，η）| P。此外，使用由示例2.3中给出的成本函数的假设所保证的连续性特性，ν与τ无关，因此假设A.1的最后一部分非常适用。

此外，对于X·在时间上是齐次的，或θ取值于可数子集的情况，最后一个假设可以减弱为X 7→ E[f（Xt，xτ）]对于任何固定t>0，τ的下半连续∈ Tt。在这种情况下，证明更为简单，因为对于分布约束的最优停止15A，与S.A DPP相比，它更能覆盖Rn×P。1，必要时选择δ∨即使更小，我们也可以确保以下属性也保持在A（s，z，η）：（ii）ERf（Xt，xu）- f（X’t，zu）dAξξu≤ ε、 对于任何ξξ∈ MVM？t（？ξ）；（iii）v（t，x，ξ）- ~v（\'t，z，\'ξ）|≤ ε。集合{A（s，z，η）：（s，z，η）∈ S} 提供了S的开放覆盖。此外，由于Sis是波兰空间的一个子空间，因此Lindel¨of，该覆盖包含一个可数的子空间；我们用（Bi）i表示后者∈N、 对于每个i∈ N、 我们通过识别（ti，xi，ξi）b=（\'t，z，\'ξ）确定相关参考点，并让Дib=\'Д；值得注意的是，参考点位于S中，但不一定位于S中。如果获得SA的可测量分区，则如下所示：a=B∩ S、 Aj+1=（Bj+1 \\（B∪ · · · ∪ Bj））∩ S、 j≥ 此外，我们定义了一个相关的MVM家族（ξξξi）i∈确保ξξi∈ MVMti（ξi）和HZFXti，xisdAξξisi≥ ~v（ti，xi，ξi）- ε。对于一般（t，x，ξ）∈ Ai，letΓi，ξ，使得W（ξi，ξ| ti）=RR | s- u | i，ξ（ds，du）；我们用mi，ξ（s，·）表示分解核族，其中Γi，ξ（ds，du）=ξi（ds）mi，ξ（s，du）。然后我们将ξξi，ξ定义如下：ξξi，ξ（t∨·)∧ti（A）：=ξ（A），ξξξi，ξ·∨ti（A）：=ξA.∩ （t，ti）+ ξ（ti，∞)Zξξi·（du）mi，ξu、 A, A.∈ B（R+）。我们注意到，这确实在MVMt（ξ）中定义了MVM。通过假设2.2，我们得到EhZtitf公司Xt，xs- f（x）ξ（ds）i≤ ^1iZtit | s- t |ξ（ds）≤ ^1iξ（（t，ti））| t- ti公司|,使用（t，x，ξ）∈ Aiand属性（i）表示E[Rtitf（Xt，xs）ξξξξi，ξ（ds）]≥ξ（（t，ti））f（x）- ε>-ε。此外，再次使用第2.2和（i）项，我们还获得（参见。

（2.7）），EhZZf公司Xt，xuξξξi（ds）mi，ξs、 杜邦-采埃孚Xt，xsξξi（ds）i≤ ^1i呃ZZu公司- sξξi（ds）mi，ξs、 杜邦我≤ ^1iZZ | u- s | mi，ξ（s，du）ξi（ds）≤ ^1iWξi，ξ| ti< ε。另一方面，利用性质（ii）我们得到了ehzfXt，xsξξi（ds）i≥ EhZf公司Xti，xisξξi（ds）i- ε≥ ~v（ti，xi，ξi）- ε。此外，通过（iii），~v（ti，xi，ξi）重新计算≥ v（t，x，ξ）- ε。结合above和再次使用o nc e（i），我们得到（t，x，ξ）的∈ Ai，EhZfXt，xsξξi，ξ（ds）i≥ ξ（ti，∞)（v（t，x，ξ）- ε）- ε≥ v（t，x，ξ）- ε。（A.2）我们需要先验地假设连续性而不是半连续性的原因是，我们需要参考点（\'t，z，\'ξ）的属性（i）-（iii）（相对于（s，z，η））。避免这种情况的一种方法是考虑由形式bδ（η）的开集生成的P上的拓扑：={ξ∈ P：ξ∈ R（η），W（η，ξ）<δ}；然而，作者不清楚在这种拓扑下S是σ-紧的还是Lindel¨of。16西格丽德·考尔布拉德（SigridK¨ALLBLADWe）现在可能会以一种标准的方式进行总结。首先，我们可以，w.l.o.g.，取（t，x，ξ）=（0，x，u）。给定ξξ∈ MVM（u），然后我们介绍修改后的MVMξξξε如下：ξξξε·∧θ： =ξξ·∧θ、 和ξξε·∨θ（A）：=ξξθA.∩ （0，θ]+ ξξθ（θ，∞)xi∈Nθ、 Xxθ，ξξξ|θθ∈人工智能ξξξi，ξξξ|θθ·∨θ（A），A∈ B（R+）。我们注意到，这样定义的过程是一个定义良好的连续和自适应的VM，ξξε=u。