模型不确定性下的自适应鲁棒控制

通常Ctistaken是θ的一致估计量*.现在，我们确定一个置信水平α∈ （0，1），每次t∈ T、 我们假设θ有一个（1-α）置信域，比如ΘT*, 可表示为Θt=τ（t，Ct），（3.4），其中，对于每个t∈ T、 τ（T，·）：Rd→ 2Θ是确定性集值函数。请注意，鉴于（3.3），（3.4）中给出的密集区域的构造确实是递归的。在构造置信域时，映射τ（t，·）将是一个可测的集值函数，具有紧凑的值。第4节构造的递归置信域的重要性质是→∞Θt={θ*}, 其中会聚被理解为Pθ*几乎可以肯定，限制在豪斯多夫度量中。但总的来说，情况并非总是如此。在[BCC16]中显示，对于此处研究的模型设置，收敛在概率上是成立的。序列Θt，t∈ t表示学习θ*根据历史观察Ht，t∈ T（参见下面的（3.6））。我们引入了增广状态过程Yt=（Xt，Ct），t∈ 我们用EY表示EY中Borel可测集的集合。过程Y具有以下动力学，Yt+1=T（T，Yt，ДT，Zt+1），T∈ T、 为了简化我们的研究，假设在每个测度Pθ下，序列Z是i.i.d。通常，2Θ表示Θ的所有子集的集合。自适应鲁棒控制7，其中T是映射T:T×EY×A×Rm→ 定义的asT（t、y、a、z）=S（x，a，z），R（t，c，z）, （3.5）式中，y=（x，c）∈ EY。为便于将来参考，我们定义了相应的历史记录ST=（（X，C），（X，C），（Xt，Ct）），t∈ T，（3.6）因此∈ Ht=EY×EY×。×EY |{z}t+1次。（3.7）显然，对于任何容许的控制过程，随机变量HTFT是可测量的。我们表示Ht=（y，y，…，yt）=（x，c，x，c，…，xt，ct）（3.8）Ht的实现。注意h=y。备注3.1。

A控制过程Д=（Дt，t∈ T） 称为历史相关控制过程，如果（稍微滥用符号）ДT=ДT（Ht），其中（右侧）ДT:Ht→ A、 是一个可测量的映射。请注意，任何可容许控制过程Д都是X的函数，Xt。因此，任何容许的控制过程都是历史相关的。另一方面，鉴于我们的上述设置，任何历史相关的控制过程都是F适应的，因此，它是允许的。从现在起，我们确定了一组可接受策略和一组历史相关策略。供将来参考，用于任何容许的控制过程和任何∈ T、 我们用φT=（φk，k=T，…，T）表示- 1） ^1的“t型尾”；尤其是，Д=Д。相应地，我们表示为t-尾的集合；特别是，A=A。Letψt:Ht→ Θ是Borel可测映射（奈特选择器），让我们用ψ=（ψt，t）表示∈ T） 这类映射的序列，由ψT=（ψs，s=T，…，T- 1） 序列ψ的t-尾。所有序列ψ和ψt的集合将分别用ψKandψtK表示。同样，我们考虑可测选择器ψt（·）：Ht→ Θt，并相应地用ψ定义此类选择器的所有序列集，用ψt定义t-尾集。显然，ψt∈ ψtif且仅当ψt∈ ψtKandψs（hs）∈ τ（s，cs），s=t，T- 1、下一步，对于每个（t，y，a，θ）∈ T×EY×A×Θ，我们在EY上定义了一个概率测度：Q（B | T，y，A，θ）=Pθ（Zt+1∈ {z:T（T，y，a，z）∈ B} ）=Pθ（T（T，y，a，Zt+1）∈ B） ，B∈ EY。（3.9）我们假设对于每个B，t，y，a，θ的函数Q（B | t，y，a，θ）是可测量的。

这一假设将在第4节讨论的最优投资组合问题的背景下得到满足。最后，使用Ionescu-Tulcea定理，对于每个控制过程∈ A对于EY上的每个初始概率分布ν，我们定义了族Qν，ψν={Qν，ψν，ψ∈ 正则空间ET+1Y上概率测度的ψ}，其中Qν，ψν如下所示：Qν，ψν（B，B，…，BT）=ZBZB··ZBTTYt=1Q（dyt | t- 1，yt-1，^1t-1（ht-1） ，ψt-1（ht-1） ）ν（dy）（3.10）8 Bielecki，Cialenco，Chen，Cousin，JeanBlanch类似地，我们定义了集合Qν，ψKν={Qν，ψKν，ψK∈ ψK}。然后，强鲁棒套期保值问题被表示为：inf^1∈AsupQ公司∈Qν，ψKνEQ`（XT）。（3.11）相应的自适应鲁棒套期保值问题为：infД∈AsupQ公司∈Qν，ψνEQ`（XT）。（3.12）备注3.2。强鲁棒套期保值问题本质上是套期保值者和他/她的骑士对手之间的博弈问题，后者可能会随着时间的推移不断改变潜在随机系统的动态。在这个博弈中，除了ψKt（Ht）的要求外，自然界在模型动力学的选择上不受限制∈ Θ，并且每个选择都可能基于截至时间t的整个历史。另一方面，自适应鲁棒对冲问题是对冲者和他/她的骑士对手之间的博弈问题，就像在强鲁棒对冲问题中一样，后者可能会随着时间的推移不断改变基础随机系统的动态。然而，在这个博弈中，自然在选择模型动力学时受到限制，从而影响ψt（Ht）∈ τ（t，Ct）。注意，如果参数θ*如果已知，那么，使用上述符号和规范构造，套期保值问题将减少到∈AEQ公司*`（XT），（3.13）其中，形式上，概率Q*如（3.10）所示，τ（t，c）={θ*} 对于所有的t和c，它肯定会保持∈AEQ公司*`（XT）≤ inf^1∈AsupQ公司∈Qν，ψνEQ`（XT）≤ inf^1∈AsupQ公司∈Qν，ψKνEQ`（XT）。

（3.14）它还认为∈Asupθ∈ΘEθ`（XT）≤ inf^1∈AsupQ公司∈Qν，ψKνEQ`（XT）。（3.15）备注3.3。我们推测INFД∈AsupQ公司∈Qν，ψνEQ`（XT）≤ inf^1∈Asupθ∈ΘEθ`（XT）。然而，在这个时候，我们不知道如何证明这个猜想，也不知道它是否是真的。3.2自适应鲁棒控制问题的解决根据我们最初的设置，在接下来的过程中，我们假设ν（dx）=δh（dx）（Diracmeasure），并使用符号Qν、ψhand Qν、ψhin代替QД、ψ和QД、ψν，从而使问题（3.12）变成fД∈AsupQ公司∈QД，ψhEQ`（XT）。（3.16）在这种情况下显然不需要。每个t的自适应鲁棒控制9∈ T、 然后，我们在串联正则空间上定义了一个概率测度，即followsqДT，ψtht（Bt+1，…，Bt）=ZBt+1···zbtyu=T+1Q（dyu | u- 1，余-1，^1u-1（hu-1） ，ψu-1（hu-1)).相应地，我们把QДt，ψtht={QДt，ψtht，ψt∈ ψt}。最后，我们定义了Utan和U的函数*Tas如下所示：对于Дt∈ A和ht∈ HtUt（Дt，ht）=supQ∈QДt，ψthtEQ`（XT），t∈ T、 （3.17）U*t（ht）=infДt∈AtUt（Иt，ht），t∈ T、 （3.18）U*T（hT）=`（xT）。（3.19）特别注意*（y） =U*（h） =inf^1∈AsupQ公司∈QД，ψhEQ`（XT）。我们叫你*t自适应鲁棒Bellman函数。3.2.1自适应鲁棒Bellman方程在这里，我们将证明可以根据与其相关的自适应鲁棒Bellman方程给出最优问题（3.16）的解决方案。为此，我们需要求解函数Wt，t∈ T，以下自适应robustBellman方程（回忆一下y=（x，c））WT（y）=`（x，y∈ EY，Wt（y）=infa∈Asupθ∈τ（t，c）ZEYWt+1（y）Q（dy | t，y，a，θ），y∈ EY，t=t- 1.

，0，（3.20），并计算相关的最佳选择器*t、 t型∈ T、 在下面的引理3.4中，在一些附加的技术假设下，我们将证明（3.20）中的最优选择器存在；即，对于任何t∈ T、 任意y=（x，c）∈ EY，存在可测量映射*t： EY公司→ A、 使wt（y）=supθ∈τ（t，c）ZEYWt+1（y）Q（dy | t，y，ν*t（y），θ）。为了继续，为了简化论证，我们假设在测度Pθ下，对于每个t∈ T，随机变量zt有一个关于勒贝格测度的密度，比如fZ（z；θ），z∈ Rm。我们还将假设可用操作集是有限的。在这种情况下，问题（3.20）变为t（y）=`（x），y∈ EY，Wt（y）=mina∈Asupθ∈τ（t，c）ZRmWt+1（t（t，y，a，z））fZ（z；θ）dz，y∈ EY，t=t- 1.0.（3.21），其中T（T，y，a，z）在（3.5）中给出。此外，我们假设10 Bielecki，Cialenco，Chen，Cousin，Jeanblanc（i）对于任何a和z，函数S（·，a，z）是连续的。（ii）对于每个z，函数fZ（z；·）在θ中是连续的。（三）`是连续的和有界的。（iv）对于每个t∈ T、 函数R（T，·，·）是连续的。然后，我们得到以下结果。引理3.4。函数Wt，t=t，t- 1.0表示上半连续（u.s.c.）和最佳选择器*t、 t=t，t- 1.0，在（3.20）中存在。证据功能WT是连续的。自T（T-1、·、·、z）是连续的，那么，WT（T（T-1，·，·，z））是连续的。因此，函数WT-1（y，a，θ）=ZRWT（T（T- 1，y，a，z）fZ（z；θ）dz是连续的，因此u.s.c.接下来，我们将通过取（在[BS78]的符号中）X=EY×a=Rn×Rd×a，X=（y，a），y=Θ，y=θ，D=[（y，a）来应用[BS78，命题7.33]∈EY×A{（y，A）}×τ（T- 1，c），f（x，y）=-wT公司-1（y，a，θ）。回想一下，鉴于之前的假设，Y是紧凑的。很明显，X是可度量的。如上所述，f是下半连续的（l.s.c）。

还要注意横截面Dx=D（y，a）={θ∈ Θ：（y，a，θ）∈ D} 由D（y，a）（t）=τ（t，c）给出。因此，根据【BS78，命题7.33】，函数EWT-1（y，a）=infθ∈τ（T-1，c）(-wT公司-1（y，a，θ）），（y，a）∈ EY×Ais l.s.c。。因此，函数WT-1=infa∈A(-ewT公司-1（y，a））是u.s.c.，并且存在一个非最佳选择器Д*T-其余的证明以类似的方式进行。以下命题是本节的主要结果。提案3.5。对于任何ht∈ Ht和t∈ T，我们有*t（ht）=重量（yt）。（3.22）此外，政策*由（3.20）中的选择器构造而成，是稳健的最佳选择，即智能开关单元*t（ht）=Ut（Д）*t、 ht），t∈ T、 （3.23）证明。我们的过程与[Iye05，定理2.1]的证明类似，通过t=t，t的反向归纳- 1.1, 0.自适应鲁棒控制11取t=t。很明显，U*T（hT）=重量（yT）。对于t=t- 1我们有*T-1（hT-1） =inf^1T-1=ДT-1.∈在-1supQ∈QхT-1，ψT-1hT-1EQ`（XT）=infИT-1=ДT-1.∈在-1上θ∈τ（T-1，cT-1） 泽宇*T（hT-1，y）Q（dy | T- 1，yT-1，^1T-1（hT-1） ，θ）=infДT-1=ДT-1.∈在-1上θ∈τ（T-1，cT-1） ZEYWT（y）Q（dy | T- 1，yT-1，^1T-1（hT-1） ，θ）=infa∈Asupθ∈τ（T-1，cT-1） ZEYWT（y）Q（dy | T- 1，yT-1，a，θ）=WT-1（年初至今-1） 。对于t=t- 1.

，1，0我们通过归纳得出*t（ht）=infДt∈AtsupQ∈Qхt，ψthtEQ`（XT）=infхt=（хt，хt+1）∈Atsupθ∈τ（t，ct）ZEYsupbQ∈QДt+1，ψt+1ht，yEbQ`（XT）Q（dy | t，yt，Дt（ht），θ）≥ infДt=（Дt，Дt+1）∈Atsupθ∈τ（ct，t）泽宇*t+1（ht，y）Q（dy | t，yt，Дt（ht），θ）=infa∈Asupθ∈τ（t，ct）泽宇*t+1（ht，y）Q（dy | t，yt，a，θ）=infa∈Asupθ∈τ（t，ct）ZEYWt+1（y）Q（dy | t，yt，a，θ）=Wt（yt）。现在，Fix > 0，并设Дt+1，表示一个-从时间t+1开始的最佳控制过程，以便UT+1（Дt+1，, ht+1）≤ U*t+1（ht+1）+.那么我们有了*t（ht）=infДt∈AtsupQ∈Qхt，ψthtEQ`（XT）=infхt=（хt，хt+1）∈Atsupθ∈τ（t，ct）ZEYsupbQ∈QДt+1，ψt+1ht，yEbQ`（XT）Q（dy | t，yt，Дt（ht），θ）≤ infДt=（Дt，Дt+1）∈Atsupθ∈τ（t，ct）ZEYsupbQ∈Qхt+1，,ψt+1ht，yEbQ`（XT）Q（dy | t，yt，Дt（ht），θ）≤ infa公司∈Asupθ∈τ（t，ct）泽宇*t+1（ht，y）Q（dy | t，yt，a；θ）+= infa公司∈Asupθ∈τ（t，ct）ZEYWt+1（y）Q（dy | t，yt，a；θ）+ = 重量（yt）+.自从 是任意的，证明（3.22）是做的。平等（3.23）现在很容易实现。12 Bielecki，Cialenco，Chen，Cousin，Jeanblanc4示例：动态最优投资组合选择在本节中，我们将给出一个示例，说明自适应鲁棒控制方法。我们在这里遵循[BGSCS05]的设置来制定我们的动态最优投资组合选择。因此，我们考虑经典的动态最优资产配置问题，或动态最优投资组合选择，当投资者在时间t决定投资风险资产和无风险银行账户时，通过最大化终端财富的预期效用u（VT），u是给定的效用函数。基础市场模型受制于第2节中介绍的不确定性类型。用r表示恒定无风险利率，用Zt+1表示从时间t到时间t+1的风险资产超额收益。我们假设观察到过程Z。

自筹交易策略产生的财富过程的动态由Vt+1=Vt（1+r+ДtZt+1），t∈ T、 （4.1）初始财富V=V，式中ДT表示从时间T到时间T+1，投资组合财富在风险资产中的比例。我们假设该过程取很多值，sayai，i=1，N其中ai∈ [0, 1]. 使用第3节中的符号，我们得到Xt=Vt，设置x=v，我们得到（v，a，z）=v（1+r+az），`（v）=-u（v），A={ai，i=1，…，N}。我们进一步假设超额收益过程Zt是一个具有均值u和方差σ的高斯随机变量的i.i.d.序列。也就是说，我们计算zt=u+σεt，其中εt，t∈ 皮重i.i.d.标准高斯随机变量。模型不确定性来自未知参数u和/或σ。我们将讨论两种情况：情况1-未知的平均值u和已知的标准偏差σ，以及情况II-u和σ都未知。案例一：假设σ已知，模型不确定性仅来自未知参数u*. 因此，使用第3节中的符号，我们得到θ*= u*, θ=u，我们取ct=but，Θ=[u，u] R、 其中，bu是u的估计量，给定观测值Z，它取值inΘ。有关此类估值器构造的详细讨论，请参考【BCC16】。对于这个例子，取bu最大似然估计量（MLE）就足够了，这是本例中的样本平均值，适当地投影在Θ上。形式上，bu的递归构造定义如下：eut+1=tt+1but+t+1Zt+1，but+1=P（eut+1），t∈ T、 （4.2）bu=c，其中P是到Θ中最近点的投影，即P（u）=uifu∈ [u，u]，如果u<u，P（u）=u，如果u>u，P（u）=u。我们以Θ为初始猜测点。立即验证r（t，c，z）=Ptt+1c+t+1z在c和z中是连续的。

综上所述，我们得到对应于（3.5）的函数T由T（T，v，c，a，z）给出=v（1+r+az），tt+1c+t+1z.自适应鲁棒控制13现在，我们注意到（1- α） -u的置信区间*时间t表示为Θt=τ（t，but），其中τ（t，c）=c-σ√tqα/2，c+σ√tqα/2,其中qα表示标准正态分布的α-分位数。有了这些，我们根据（3.9）定义了核Q，并根据（3.10）定义了一组概率度量QД，ψhon正则spaceby。在我们的符号和设置中，投资者的问题正式表述如下∈AsupQ公司∈QД，ψhEQ[-u（VT）]（4.3），其中A是一组自我融资交易策略。相应的自适应鲁棒Bellman方程变为（WT（v，c）=-u（v），Wt（v，c）=infa∈Asupu∈τα（t，c）E[Wt+1（t（t，v，c，a，u+σεt+1）），（4.4），其中期望E是关于标准一维高斯分布的。鉴于命题3.5，函数Wt（v，c）满足Wt（v，c）=infνt∈AtsupQ∈QДt，ψthtEQ[-u（VT）]，其中ht=（ht-1，v，c）适用于任何ht-1=（v，c，…，vt-1，ct-（1）∈ Ht公司-1、因此，特别是W（v，c）=infД∈AsupQ公司∈QД，ψhEQ[-u（VT）]，以及最佳选择器*t、 t型∈ T，from（4.4）解决了原始投资者的分配问题。为了进一步降低计算复杂性，我们考虑形式为u（x）=x1的CRRA实用程序-γ1-γ、 对于x∈ R、 一些γ6=1。

在这种情况下，我们有u（VT）=u（VT）“T-1Ys=t（1+r+ДsZs+1）#1-γ、 t型∈ T、 注意WT（v，c）=-u（v）·辅助设备∈AtinfQ公司∈QДt，ψthtEQQT-1s=t（1+r+ДsZs+1）1.-γ, γ<1，infДt∈AtsupQ∈QДt，ψthtEQQT-1s=t（1+r+ДsZs+1）1.-γ, γ > 1.我们把这个区间取为闭合区间，因为我们希望它是紧凑的。原始投资者的问题是sup^1∈AinfQ公司∈Q^1，ψhEQ[u（VT）]，其中A是一套自我融资的交易策略14 Bielecki，Cialenco，Chen，Cousin，JeanBlancent，根据[BGSCS05]中提出的想法，我们将证明∈ T和任意c∈ 【a，b】Wt（v，c）/v1的比率-γ不依赖于v，函数fwt定义为fwt（c）=Wt（v，c）/v1-γ满足以下反向递归（fWT（c）=1-γ、 fWt（c）=infa∈Asupu∈τα（t，c）Eh（1+r+a（u+σεt+1））1-γfWt+1（tt+1c+t+1（u+σεt+1））i，t∈ T、 （4.5）我们将通过T中的反向归纳来说明这一点。首先，等式fwt（c）=1-γ是明显的。接下来，我们将∈ T、 我们假设Wt+1（v，c）/v1-γ不依赖于v。因此，使用（4.4）weobtainWt（v，c）v1-γ=infa∈Asupu∈τα（t，c）Eh（1+r+a（u+σεt+1））1-γfWt+1（T（T，v，c，a，u+σεT+1））i不依赖于v，因为fWt+1不依赖于其第一个参数。最后，我们对该问题的数值实现方面进行了几点说明。