基于过程的风险度量与离散时间的风险规避控制

然而，从现在起，我们只考虑由特定流程产生的过滤定义的dynamicrisk度量，因为我们对可以在每个特定历史路径上评估的风险度量感兴趣。这就是为什么我们称这些风险度量为“基于过程的”下面的命题表明，随机条件时间一致性意味着一步风险映射ρtca可以等价地表示为V上的静态法律不变风险度量，即X上所有有界可测函数的集合。我们首先稍微定义了法律不变的标准概念。定义2.9。风险度量r:V→关于（X，B（X））上概率测度的Ris定律不变量，如果对于所有V，W∈ VVq~ W=> r（V）=r（W），其中Vq~ W表示q{V≤ η} =q{W≤ η} 总的来说η∈R.我们现在可以陈述本节的主要结果。定理2.10。基于过程的动态风险度量ρt，tt=1，。。。，当且仅当泛函σt：图（Qt）×V→R、 t=1，T- 1，存在，这样（i）对于所有t=1，T-全部1和1∈ 函数σt（ht，Qt（ht），·）是V上关于分布Qt（ht）的标准化、单调和规律不变的风险度量；（ii）对于所有t=1，T- 1.所有人（Zt，…，Zt）∈ Zt、T和所有ht∈ Xt，ρt，t（Zt，…，Zt）（ht）=Zt（ht）+σtht，Qt（ht），ρt+1，t（Zt+1，…，Zt）（ht，·）. （6） 此外，对于所有t=1，T- 1，σ由ρt唯一确定，Tas如下：对于每个ht∈ 每v∈ 五、 σt（ht，Qt（ht），V）=ρt，t（0，V，0，…，0）（ht），（7）式中V∈ Zt+1满足方程V（ht，·）=V（·），在其他地方可以任意。证据

假定ρt，tt=1，。。。，它具有平移不变性和随机条件时间一致性。我们将证明σt满足（6）–（7）的存在性。公式（7）定义了空间V上的标准化单调风险度量。定义了固定ht∈ Xt，v（x）=ρt+1，t（Zt+1，…，Zt）（ht，x）， 十、∈ 十、 V（ht+1）=v（x），如果ht+1=（ht，x），则为0，否则为。通过平移不变性和归一化，ρt+1，t（V，0，…，0）（ht，·）=V（ht，·）=ρt+1，t（Zt+1，…，Zt）（ht，·）。因此，根据平移性质和随机条件时间一致性，ρt，t（Zt，…，Zt）（ht）=Zt（ht）+ρt，t（0，Zt+1，…，Zt）（ht）=Zt（ht）+ρt，t（0，V，0，…，0）（ht）=Zt（ht）+σt（ht，Qt（ht），V）。这个关系链也证明了σt的唯一性。我们只需要验证σt（ht，Qt（ht），·）的假定定律不变性。如果V，V′∈ Zt+1具有相同的条件分布，给定ht，则定义2.7意味着ρt，t（0，V，0，…，0）（ht）=ρt，t（0，V′，0，…，0）（ht），以及（7）中的定律不变性。另一方面，如果存在这种转移风险映射，那么ρt，tt=1，。。。，这是由σ（ht，·）的单调性和定律不变性随机条件时间一致的。现在我们可以使用（6）来获得任意t=1，T- 1.无论如何∈ xtt表示下列恒等式：ρt，t（0，Zt+1，…，Zt）（ht）=σtht，Qt（ht），ρt+1，t（Zt+1，…，Zt）（ht，·）= ρt，t（Zt，…，Zt）（ht）- Zt（ht），是ρt，t的平移不变性。备注2.11。考虑到在受控过程中的应用，我们稍微滥用了符号，将分布Qt（ht）作为过渡风险映射的参数。例2.12。在风险敏感马尔可夫决策过程理论中，采用了以下一系列熵风险度量（见[18,30,13,39,5,12,15,27,4]）：ρt，t（Zt，…，Zt）=γln进出口γPTs=tZsFti, t=1。

，T，γ>0。它是随机条件时间一致的，对应于转移风险映射σt（ht，q，v）=γlnEq[eγv]=γlnZXeγv（x）q（dx）, γ > 0. （8） 在构建动态风险度量时，我们使用q=Qt（ht）。我们还可以使γin（8）依赖于时间t、当前状态xt，甚至整个历史ht，并且仍然获得随机条件下时间一致的动态风险度量。如果γ仅依赖于t和xtonly，则映射（8）对应于第4.1节和第4.2节中讨论的马尔可夫风险度量。例2.13。以下转移风险映射满足定理2.10的条件，并对应于随机条件下时间一致的动态风险度量：σt（ht，q，v）=ZXv（s）q（ds）+κt（ht）ZXh五(s)-ZXv（s′）q（ds′）+ipq（ds）！1/p，（9）式中κt:Xt→ [0,1]是一个可测函数，p∈ [1, +∞). 它类似于风险的静态平均-半偏差度量，其与随机优势的一致性是众所周知的[31,32]。在构建动态风险度量时，我们使用q=Qt（ht）。如果κtdepends仅在xtonly上，则映射（9）对应于马尔可夫风险度量（见第4.1和4.2节）。例2.14。以下转换风险映射源自风险平均值[36]：σt（ht，q，v）=minη∈R（η+αt（ht）ZX五(s)- η+q（ds）），（10），其中αt（ht）是一个可测函数，其值为[αmin，αmax] (0, 1). 映射（10）满足定理2.10的条件；它与随机优势的一致性是众所周知的[33]。例2.15。我们在定义随机条件时间一致性时使用了随机优势关系，排除了一些转移风险映射的可能性。假设σt（ht，q，v）=v（x），其中x∈ X是一个选定的状态。作为最后一个参数的函数，这种映射是一种连贯的风险度量，可能具有法律不变性。

特别地，它是定律不变量，X={X，X}，q（X）=1/3，q（X）=2/3，v（X）=3，v（X）=1，w（X）=2，w（X）=4。对于这个映射，我们有但是σt（ht，q，v）>σt（ht，q，w），因此违反了随机条件时间一致性的条件。这是因为达到x的概率，无论多么小，都不会影响风险度量的值。我们有意识地排除这种情况，因为InControl系统将在下一节讨论，第二个参数（q）是唯一取决于我们的决定的参数。如果要获得有实际意义的结果，就应该将其纳入我们偏好的定义中。3受控随机过程的风险度量我们现在扩展了第2节的设置，允许内核（1）依赖于控制变量ut。3.1模型我们仍然使用{Xt}t=1，。。。，在空间XT上引入Borel控制空间U。在每个时间t，我们观察状态XT，然后应用控制ut∈ 我们假设可容许控制集和转移核（下一状态的条件分布）依赖于所有当前已知的状态和控制值。更准确地说，我们做出以下假设：1。对于所有t=1，T，我们需要ut∈ Ut（x，u，…，xt）-1，犹他州-1，xt），其中Ut:Gt=> U是可测量的，G，GT是应用每个控件之前所有当前已知状态和控件值的历史记录集：G=X，Gt+1=图形（Ut）×X （X×U）t×X，t=1，T- 1.2.对于所有t=1，依赖于控制的转换核qt:graph（Ut）→ P（X），t=1，T- 1，（11）是可测量的，对于所有t=1，T-1，适用于所有（x，u，…，xt，ut）∈ 图（Ut），Qt（x，u。

，xt，ut）描述了给定当前已知状态和控件的xt+1的条件分布。对于这个受控过程，一个（确定性的）依赖历史的容许策略π=（π，…，πT）是一系列可测量的选择器，称为决策规则πT:Gt→ U使得πt（gt）∈ Ut（gt）适用于所有gt∈ Gt。通过t上的归纳，我们可以很容易地证明，对于一个可容许的策略π，每个πt都在Xt上化为一个可测函数，因为对于所有的s=1，T- 1.我们仍然使用π来表示决策规则，尽管它在形式上是一个不同的函数；这不会导致任何误解。可容许策略集为∏：=π=（π，…，πT）|t、 πt（x，…，xt）∈ Ut（x，π（x），xt-1，πt-1（x，…，xt）-1） ，xt）.（12） 对于任何固定政策π∈ π，过渡核可以重写为可测函数，从xto到P（X）：Qπt：（X，…，xt）7→ Qtx、 π（x），πt（x，…，xt）, t=1，T- 1，（13）与（1）中给出的非受控情况的转移核一样，但以π为索引。因此，对于任何政策π∈ 我们可以考虑{Xt}t=1，。。。，在概率空间上，这是一个“非受控”过程XT，B（X）T，PπPπ由{Qπt}t=1定义，。。。，T-1.过程{Xt}适用于独立于政策的过滤{Ft}t=1，。。。，T.和之前一样，在本文中，ht∈ xt代表（x，…，xt）。我们仍然使用相同的空间Zt，t=1，T，如（2）所述，每个阶段产生的成本；这些空间还允许我们将控制相关成本视为Z1，T中政策指数成本的集合。因此，我们能够为每个固定π定义和分析（时间一致的）动态风险度量ρπ∈ π，如第2节所述。注意，ρπ是在相同的空间中独立定义的，因为过滤和空间Zt，t=1。

T不依赖于π；然而，我们不需要用政策π来衡量风险度量，因为转移核以及空间XT上的概率度量都依赖于π。3.2随机条件时间一致性和转移风险映射我们需要比较不同政策之间的风险水平，因此风险度量ρπ与π之间有意义的顺序∈ 是需要的。事实证明，我们的随机条件时间一致性概念可以扩展到这种情况。定义3.1。一系列基于过程的动态风险度量ρπt，tπ∈πt=1，。。。，T-1对于任何π，π′是随机条件时间一致的∈ π，对于任何1≤ t<t，尽管如此∈ Xt，全部（Zt，…，Zt）∈Zt，Tand all（重量，…，重量）∈ Zt，T，条件Zt（ht）=重量（ht），ρπt+1，t（Zt+1，…，Zt）| Hπt=ht圣ρπ′t+1，t（Wt+1，…，Wt）| Hπ′t=ht,隐含ρπt，t（Zt，…，Zt）（ht）≤ ρπ′t，t（Wt，…，Wt）（ht）。备注3.2。与定义2.7一样，条件随机顺序“st”的理解如下：对于所有η∈Rwe haveQπt（ht）x |ρπt+1，t（Zt+1，…，Zt）（ht，x）>η≤ Qπ′t（ht）x |ρπ′t+1，t（Wt+1，…，Wt）（ht，x）>η.这个定义有助于我们在动态风险度量ρπ之间建立联系∈ 就像我们在下面解释的那样。在讨论细节之前，我们可以简单地说，与非受控情况下相同的过渡风险映射是此类风险措施的唯一可能结构。如果一系列基于流程的动态风险度量ρπt，tπ∈πt=1，。。。，T-1是随机条件一致的，那么对于每个固定π∈ 基于过程的动态风险度量ρπt，tt=1，。。。，T-1如定义2.7所定义，必须有条件地保持时间一致。根据命题2。10，对于每个π∈ π，存在泛函σπt：图（Qπt）×V→R、 t=1。T- 1，这样对于所有t=1。

T- 1.好的∈ 函数σπt（ht，Qπt（ht），·）是vw上关于分布Qπt（ht）和ρπt，t（Zt，…，Zt）（ht）=Zt（ht）+σπt的一个定律不变的风险度量ht，Qπt（ht），ρπt+1，t（Zt+1，…，Zt）（ht，·）, ht∈ Xt。考虑任意π，π′∈ π，ht∈ Xt和（Zt，…，Zt）∈ Zt，T，（重量，…，重量）∈ Zt，TsuchZt（ht）=Wt（ht），Qπt（ht）=Qπ′t（ht），ρπt+1，t（Zt+1，…，Zt）（ht，·）=ρπ′t+1，t（Wt+1，…，Wt）（ht，·）。然后我们有ρπt+1，t（Zt+1，…，Zt）| Hπt=ht~圣ρπ′t+1，t（Wt+1，…，Wt）| Hπ′t=ht,亲戚呢~这意味着站凝视真实；换句话说，法律上的平等。由于随机条件时间一致性，ρπt，t（Zt，…，Zt）（ht）=ρπ′t，t（Wt，…，Wt）（ht），从何处σπtht，Qπt（ht），ρπt+1，t（Zt+1，…，Zt）（ht，·）= σπ′tht，Qπ′t（ht），ρπ′t+1，t（Wt+1，…，Wt）（ht，·）.σπ和σπ′皮重的三个参数都相同。因此，σπ并不直接依赖于π，所有对π的依赖都由受控核Qπt进行。当我们将动态风险度量应用于控制问题时，这是一个非常理想的性质。我们在下面的定理中总结了这个重要的观察结果，它将定理2.10扩展到了受控过程的情况。定理3.3。一系列基于过程的动态风险度量ρπt，tπ∈πt=1，。。。，当且仅当存在泛函σt:[π∈π图（Qπt）×V→R、 t=1。T- 1，这样：（i）对于所有t=1，T- 全部1和1∈ Xt，σt（ht，·，·）是标准化的，对于随机优势具有以下强单调性：q、 q∈Qπt（ht）：π∈ Π, v、 五∈ 五、 （V；q）st（v；q）==> σt（ht，q，v）≤ σt（ht，q，v），其中（v；q）=qo 五、-1表示“q下v的分布（ii）对于所有π∈ 对于所有t=1，T- 1.对于所有人（Zt。

，ZT）∈ Zt、T和所有ht∈ Xt，ρπt，t（Zt，…，Zt）（ht）=Zt（ht）+σt（ht，Qπt（ht），ρπt+1，t（Zt+1，…，Zt）（ht，·））。（14） 此外，对于所有t=1，T- 1，σ由ρt唯一确定，Tas如下：对于每个ht∈ Xt，对于每一个q∈Qπt（ht）：π∈ Π, 对于每一个v∈ 五、 σt（ht，q，V）=ρπt，t（0，V，0，…，0）（ht），（15），其中π是任何允许的策略，使得q=qπt（ht），和V∈ Zt+1满足方程V（ht，·）=V（·），在其他地方可以任意。证据我们已经证明了{σt}t=1，。。。，t在定理前面的讨论中证明（14）和（15）。我们可以通过（15）和定义3.1验证强定律不变性。因此，示例2.12、2.13和2.14中的转移风险映射也完全适合于受控过程的转移风险映射，前提是相应的参数（γ、κ和α）仅依赖于t和XT。4受控马尔可夫系统的应用当{Xt}是受控马尔可夫系统时，结果可以进一步专门化，其中我们假设以下条件：（i）容许控制集是当前状态的可测多函数，即Ut:X=>U、 t=1，T（ii）转换内核（11）对历史的依赖仅通过最后一个状态和控件进行：Qt:graph（Ut）→ P（X），t=1，T- 1.（iii）逐步成本仅取决于当前状态和控制：Zt=ct（xt，ut），t=1，T，其中ct:graph（Ut）→R、 t=1，T是可测有界函数。设∏为可容许的历史相关策略集∏：=π=（π，…，πT）|t、 πt（x，…，xt）∈ Ut（xt）.为了简化符号，对于所有π∈ 对于所有可测的c=（c，…，cT），我们写出了c，πt（ht）：=ρπt，tct（Xt，πt（Ht）），cT（XT，πT（HT））（ht）。以下结果是定理3.3在马尔可夫情形下的直接结果。推论4.1。

对于受控马尔可夫系统，一系列基于过程的动态风险度量ρπt，tπ∈πt=1，。。。，t是平移不变且随机条件时间一致的当且仅当f函数σt:nht，Qt（xt，u）: ht∈ Xt，u∈ Ut（xt）o×V→R、 t=1。T- 1，存在，这样（i）对于所有t=1，T- 全部1和1∈ Xt，σt（ht，·，·，·）是关于随机占优的标准化且强单调的Qt（xt，u）：u∈ Ut（xt）;（ii）对于所有π∈ 对于所有有界可测c，对于所有t=1，T- 1.无论如何∈ Xt，vc，πt（ht）=ct（Xt，πt（ht））+σtht，Qt（xt，πt（ht）），vc，πt+1（ht，·）. （16） 证据。为了验证“当且仅当”陈述，我们可以证明（15）是真的，如果σt对所有可测量的有界c是（16）。4.1马尔可夫风险度量考虑由状态相关的可测决策规则πt:x7组成的马尔可夫策略π→ U、 t=1，T由于转移核的马尔可夫性质，对于马尔可夫策略π，过程{Xτ}τ=t，。。。，这完全取决于当前状态xt，未来成本的分布cτ（Xτ，πτ（Xτ）），τ=t，T因此，可以合理地假设，条件风险度量对历史的依赖性也仅由当前州承担。定义4.2。一系列基于过程的动态风险度量ρπt，tπ∈πt=1，。。。，t对于一个受控马尔科夫系统，对于所有的马尔科夫策略π，它是马尔科夫if∈ π，对于所有可测量的c=（c，…，cT），对于所有的ht=（x，…，xt）和h′t=（x，…，x′，t），在xtxt=x′t时，我们有vc，πt（ht）=vc，πt（h′t）。提案4.3。在平移不变性和随机条件时间一致性下，ρπt，tπ∈πt=1，。。。，当且仅当σt的依赖性仅由xt携带时，对于所有t=1，T- 1.证据。认为ρπt，tπ∈πt=1，。。。，这是马尔科夫。对于所有t=1。

T- 1.对于所有ht，h\'t∈ 使xt=x′t，对于所有的u∈ Ut（xt）和所有v∈ 五、 存在一个马尔可夫π∈ π使得πt（xt）=u。通过设置c=（0，…，0，ct+1，0，…，0）和ct+1:（x′，u′）7→ ρπ的马尔可夫性质意味着σt（ht，Qt（xt，u），v）=vc，πt（ht）=vc，πt（h′t）=σt（h′t，Qt（xt，u），v）。因此，σ实际上是无记忆的，也就是说，它对HTI的依赖性由xtonly携带。假设σt，t=1，T- 1.都没有记忆。我们通过时间倒转的归纳法证明，对于所有的t=t，1，vc，πt（ht）=vc，πt（h′t）对于所有Markovπ和所有ht，h′t∈ 我们有：vc，πt（hT）=cT（xt，πt（xt））=vc，πt（h′t）。我们可以把它写成vc，πT（xT）。如果这个关系对某些t+1是真的≤ 那么对于T，我们得到vc，πT（ht）=ct（xt，πT（xt））+σTQt（xt，πt（xt）），vc，πt+1（ht，·）= ct（xt，πt（xt））+σtQt（xt，πt（xt）），vc，πt+1（·）.右边是xt的函数，而不是ht，我们可以写出风险度量值vc，πt（xt）。通过归纳，结果适用于所有t。定理4.4。对于受控马尔可夫系统，一系列基于过程的动态风险度量ρπt，tπ∈πt=1，。。。，当且仅当存在泛函σt时，具有平移不变性、随机条件时间一致性和马尔可夫性：x、 Qt（x，u）: 十、∈ 十、 u∈ Ut（x）×V→R、 t=1。T- 1，其中V是X上有界可测函数的集合，因此：（i）对于所有t=1，T- 1和所有x∈ 十、 σt（X，·，·）是标准化的，关于随机占优，它是强单调的Qt（x，u）：u∈ Ut（x）;（ii）对于所有π∈ 对于所有可测有界c，对于所有t=1，T- 1.无论如何∈ Xt，vc，πt（ht）=ct（Xt，πt（ht））+σtQt（xt，πt（ht）），vc，πt+1（ht，·）.