模型不确定性下的自适应鲁棒控制

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Adaptive Robust Control Under Model Uncertainty》
---
作者：
Tomasz R. Bielecki and Tao Chen and Igor Cialenco and Areski Cousin
  and Monique Jeanblanc
---
最新提交年份：
2017
---
英文摘要：
  In this paper we propose a new methodology for solving an uncertain stochastic Markovian control problem in discrete time. We call the proposed methodology the adaptive robust control. We demonstrate that the uncertain control problem under consideration can be solved in terms of associated adaptive robust Bellman equation. The success of our approach is to the great extend owed to the recursive methodology for construction of relevant confidence regions. We illustrate our methodology by considering an optimal portfolio allocation problem, and we compare results obtained using the adaptive robust control method with some other existing methods.
---
中文摘要：
本文提出了一种新的离散时间不确定随机马尔可夫控制问题的求解方法。我们将所提出的方法称为自适应鲁棒控制。我们证明了所考虑的不确定控制问题可以用相关的自适应鲁棒Bellman方程来解决。我们方法的成功在很大程度上归功于构建相关置信域的递归方法。我们通过考虑最优投资组合分配问题来说明我们的方法，并将使用自适应鲁棒控制方法获得的结果与其他一些现有方法进行比较。
---
分类信息：

一级分类：Mathematics        数学
二级分类：Optimization and Control        优化与控制
分类描述：Operations research, linear programming, control theory, systems theory, optimal control, game theory
运筹学，线性规划，控制论，系统论，最优控制，博弈论
--
一级分类：Mathematics        数学
二级分类：Probability        概率
分类描述：Theory and applications of probability and stochastic processes: e.g. central limit theorems, large deviations, stochastic differential equations, models from statistical mechanics, queuing theory
概率论与随机过程的理论与应用：例如中心极限定理，大偏差，随机微分方程，统计力学模型，排队论
--
一级分类：Quantitative Finance        数量金融学
二级分类：Mathematical Finance        数学金融学
分类描述：Mathematical and analytical methods of finance, including stochastic, probabilistic and functional analysis, algebraic, geometric and other methods
金融的数学和分析方法，包括随机、概率和泛函分析、代数、几何和其他方法
--

---
PDF下载：
-->

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：鲁棒控制 不确定性 不确定 确定性 Mathematical

模型不确定性下的自适应鲁棒控制托马斯·比莱克基亚（Tomasz R.Bieleckia），陶陈（Tao Chen），艾戈尔·夏兰科（aIgor Cilenco），aAreski Cousinb（aAreski Cousinb），莫尼克·让布兰奇（Monique JeanBlancfirst）于2017年6月6日发布摘要：本文提出了一种新的方法来解决离散时间内的不确定随机马尔可夫控制问题。我们将所提出的方法称为自适应鲁棒控制。我们证明了所考虑的不确定控制问题可以用相关的自适应鲁棒Bellman方程来解决。我们方法的成功在很大程度上归功于构建相关信任区域的递归方法。我们通过考虑最优投资组合分配问题来说明我们的方法，并将使用adaptiverobust控制方法获得的结果与其他一些现有方法进行比较。关键词：自适应鲁棒控制、模型不确定性、随机控制、动态规划、递归置信域、马尔可夫控制问题、投资组合分配。MSC2010:93E20、93E35、49L20、60J051简介本文提出了一种在离散时间内求解不确定随机马尔可夫控制问题的新方法，并将其应用于最优投资组合选择问题。因此，我们只考虑终端优化准则。问题中的不确定性来自于以下事实：底层随机过程的（真实）规律未知。我们假设，已知的是真正定律所属的潜在概率定律家族。因此，我们在这里处理一个受奈特不确定性影响的随机控制问题。文献中已使用不同的方法对这些问题进行了广泛研究，其中一些问题在第2节中进行了简要描述。解决这个问题的经典方法可以追溯到几位作者。

[GS89]的多重先验或maxmin方法可能是最早的先验方法之一，也是经济学文献中最著名的方法之一。在我们的终端标准的背景下，它本质上相当于formsupД的一个鲁棒控制问题（事实上是一个博弈问题）∈AinfQ∈MEQL（X，Д，T），其中Д是控制过程，A是容许控制的族，M是可能的潜在概率模型（或先验）的族，EQdenotes在先验Q下的期望，X是基础过程，T是有限的优化范围，其中L是优化标准。家族M代表骑士式的不确定性。伊利诺伊理工学院应用数学系邮件：tbielecki@iit.edu（T.R.Bielecki），tchen29@iit.edu（T.Chen）和cialenco@iit.edu（I.Cialenco）URL：http://math.iit.edu/~bielecki和http://math.iit.edu/~IGorbinstitute de Sciences Financial\'ere et d\'Assurance，Universit\'e Lyon 1，Lyon，Francee邮箱：areski。cousin@univ-lyon1.fr，URL：http://www.acousin.net/cUniv埃弗里，LaMME UMR CNRS 807，巴黎萨克莱大学，91025，埃弗里，法国邮箱：monique。jeanblanc@univ-埃弗里。fr，URL：http://www.maths.univ-evry.fr/pages_perso/jeanblanc2Bielecki、Cialenco、Chen、Cousin、JeanBlanch上述maxmin配方已进一步修改，以达到UPД的效果∈AinfQ公司∈MEQ（L（X，Д，T）- c（Q）），其中c是惩罚函数。我们参考[HSTW06]、[Ski03]、[MMR06]和[BMS07]以及其中的参考文献，以讨论和研究该问题。在我们的方法中，我们不使用惩罚条款。相反，我们应用了一种学习算法，旨在减少过程X演化背后真实概率结构的不确定性。这导致我们考虑我们所称的自适应鲁棒控制问题。

我们强调，我们的问题和方法不应与[IS12]和[BWH12]中提出的问题和方法混淆。[KOZ14]中对一个涉及学习的连续时间不确定控制问题进行了一项非常有趣的研究。本文的组织结构如下。在第2节中，我们简要回顾了解决模型不确定性随机控制问题的一些现有方法，从鲁棒控制方法开始，然后是强鲁棒方法、无模型鲁棒方法、贝叶斯自适应控制方法和自适应控制方法。此外，我们还介绍了该方法的基本思想，即自适应鲁棒控制，以及它与现有方法的关系。第3节专门介绍自适应鲁棒控制方法。我们从建立模型开始，在第3.1节中，我们严格描述了随机控制问题。第3.2节讨论了自适应鲁棒问题的解决方法。在本节中，我们还推导了相关的Bellman方程，并证明了考虑自适应鲁棒问题的Bellman最优性原则。最后，在第4节中，我们考虑一个示例，即经典的动态最优配置问题，当投资者每次决定通过最大化终端财富的预期效用投资风险资产和无风险银行账户时。在此，我们还将所提出的方法与现有的一些经典方法进行了比较分析。2模型不确定性下的随机控制(Ohm, F）是可测量的空间，且T∈ N是固定的时间范围。设T={0，1，2，…，T}，T={0，1，2。

T- 1} ，和Θ Rdbe是一个非空集，它将始终扮演KnownPareter空间的角色。在空间上(Ohm, F）我们考虑一个随机过程X={Xt，t∈ T}在某个可测空间中取值。我们假设观察到这一过程，并用F=（Ft，t）表示∈ T）其自然过滤。X的真定律未知，并假设由属于上的概率分布参数族的概率度量生成(Ohm, F），表示P（Θ）={Pθ，θ∈ Θ}. 我们将写EPto表示对应于概率度量的期望(Ohm, F），为了简单起见，我们用Eθ表示与概率Pθ相对应的期望算子。按Pθ*我们表示生成X真定律的度量，因此θ*∈ Θ是（未知）真参数。由于假设Θ是已知的，因此本文中讨论的模型不确定性仅在Θ6={θ时发生*}, 我们假设是这样的。通常，参数空间可能是有限维的，例如由动态因素组成，如时间的确定函数或隐马尔可夫链。在本研究中，为了简单起见，我们选择参数空间作为Rd的子集。在大多数应用中，为了避免约束估计问题，参数空间被视为等于Rd的最大相关子集。自适应鲁棒控制3本文提出的方法是由以下一般优化问题驱动的：我们考虑一个族，例如，F–适配过程的φ={φt，t∈ 定义日期(Ohm, F），在可测量空间中取值。我们把A的元素称为容许控制过程。此外，我们考虑了X和ν的一个泛函，我们用L表示。目前的随机控制问题是infД∈AEθ*（L（X，Д））。（2.1）然而，如上所述，由于θ的值*未知。

因此，我们将此类问题称为不确定随机控制问题。接下来的问题是如何处理受这种模型不确定性影响的随机控制问题（2.1）。解决这种不确定随机控制问题的经典方法是：o解决鲁棒控制问题∈Asupθ∈ΘEθ（L（X，Д））。（2.2）关于鲁棒控制问题的更多信息，我们参考，例如，【HSTW06】、【HS08】、【BB95】解决强鲁棒控制问题∈AsupQ公司∈Qν，ΘKνEQ（L（X，ν）），（2.3）其中，ΘKis是骑士对手选择的一组策略（自然）和Qν，ΘKνa概率集，取决于策略ν和给定的定律νonΘ。有关此问题的正式描述，请参见第3节，有关相关工作，请参见[Sir14]和[BCP16]解决无模型鲁棒控制问题∈AsupP公司∈PEP（L（X，ν）），（2.4），其中P为(Ohm, F）。o为了解决贝叶斯自适应控制问题，假设（未知）参数θ是随机的，建模为随机变量Θ，取Θ中的值，并具有由ν表示的先验分布。在此框架中，通过以下优化问题来解决不确定控制问题∈AZΘEθ（L（X，ν））ν（dθ）。我们参考，例如，【KV15】。o解决自适应控制问题，即首先针对每个θ∈ ΘsolveinfΘ∈AEθ（L（X，Д）），（2.5），并用Дθ表示相应的最优控制（假设存在）。然后，每次∈ T、 计算点估计值bθtofθ*, 使用所选的可测量估值器bΘt。最后，在时间t应用控制值Дbθtt。我们参考，例如，【KV15】、【CG91】。4比莱基、夏兰科、陈、堂兄、让·布兰奇现在的评论顺序如下：1。关于鲁棒控制问题的解决方案，[LSS06]观察到，如果真实模型是最差的，那么这个解决方案将是很好的。

然而，如果真正的模型是最好的或与之相近的，那么这个解决方案可能非常糟糕（也就是说，该解决方案根本不需要对模型错误具有鲁棒性！）。[LSS06]中的一个UE模型对应于θ*在我们的符号中。信息是，使用鲁棒控制框架可能会产生不理想的结果。2、可以显示INF^1∈Asupθ∈ΘEθ（L（S，Д））=infД∈Asupν∈P（Θ）ZΘEθ（L（S，ν））ν（dθ）。（2.6）因此，对于任何给定的先验分布νinfД∈Asupθ∈ΘEθ（L（S，ν））≥ inf^1∈AZΘEθ（L（S，ν））ν（dθ）。自适应贝叶斯问题似乎不那么保守。因此，在原则上，解决给定先验分布的自适应贝叶斯控制问题可能比解决鲁棒控制问题更好地解决不确定随机控制问题。3、有时有人建议鲁棒控制问题不涉及未知参数θ的学习*, 事实上是这样的，但自适应贝叶斯控制问题涉及到θ的“学习”*. 后一种说法的原因是，在自适应贝叶斯控制方法中，根据贝叶斯统计，未知参数被视为一个随机变量，例如具有先验分布ν的Θ。然后将该随机变量视为未观测状态变量，从而将自适应贝叶斯控制问题视为对整个状态向量进行部分（不完全）观测的控制问题。解决部分观测控制问题的典型方法是将其转化为相应的分离控制问题。分离问题（separatedproblem）是一个完全观测的问题，它是通过引入额外的状态变量来实现的，在贝叶斯统计中被称为Θ的后验分布。

“学习”归因于在分离问题中使用Θ的后验分布。然而，在分离问题中使用的信息与在原始问题中使用的信息完全相同，没有真正涉及到学习。等式（2.6）进一步证明了这一点。关于强鲁棒控制问题2.3和自适应鲁棒控制问题2.7之间的区别，我们参考备注3.2，如下所述。如前所述，如果Θ6={θ，则会出现本文中讨论的模型不确定性*}. 经典鲁棒控制问题（2.2）不涉及θ不确定性的任何减少*, 由于参数空间没有用有关信号过程X的传入信息“更新”。类似的备注适用于问题（2.3）和（2.4）：其中涉及的基本随机动力学的不确定性没有减少。显然，将“学习”纳入鲁棒控制范式似乎是个好主意。事实上，在【AHS03】中，作者陈述了自适应鲁棒控制，我们看到了我们当前研究的三个重要扩展。与理性预期模型的构建者一样，我们回避了决策者如何选择近似模型的问题。根据有关鲁棒控制的文献，我们设想这种近似模型在分析上是可处理的，但决策者认为它不能提供状态向量演化的正确模型。我们心目中的误判在统计意义上是很小的，但在其他方面可能是相当多样的。正如我们没有正式建模代理如何学习近似模型一样，我们也没有正式解释为什么他们不费心去学习该模型潜在的复杂错误。

合并学习形式将是我们工作的重要延伸。aa黑体强调是我们的。在目前的工作中，我们遵循Anderson、Hansen和Sargent statedabove的建议，提出了一种新的方法，我们称之为自适应鲁棒控制方法，该方法旨在结合θ的学习*进入鲁棒控制范式。该方法相当于解决以下问题∈AsupQ公司∈Qν，ψνEQ（L（S，ν）），（2.7），其中Qν，ψν是与过程X相关的一些正则空间上的一系列概率测度，选择的方式允许适当动态减少θ的不确定性*. 具体而言，我们根据参数θ的置信域选择了族Qν、ψν*（详见第3节）。因此，自适应鲁棒控制方法结合了更新控制器对参数空间的知识，这是一种学习形式，旨在减少θ的不确定性*使用有关信号处理的传入信息。问题（2.7）源自问题（2.3）；关于这两个问题的推导，我们参考第3节。在本文中，我们将在金融领域考虑的特定最优投资组合选择问题的背景下，比较鲁棒控制方法、自适应控制方法和自适应鲁棒控制方法。这将在第4.3节自适应鲁棒控制方法中完成。这一节是本文的关键部分。我们将首先对我们正在研究的控制问题进行精确描述，然后继续介绍我们的自适应鲁棒控制方法。让{(Ohm, F，Pθ），θ∈ Θ  Rd}是概率空间族，设T∈ N为执行自然时间。此外，我们让 Rkbe a单位和：Rn×a×Rm→ Rnbe是一个可测量的映射。

最后，让`:Rn→ Rbe是一种可测量的功能。A将代表一组控制值，我们假设为简单起见，它是有限的，以避免关于可测量选择器存在的技术问题。6 Bielecki，Cialenco，Chen，Cousin，JeanBlanche我们考虑了一个基本的离散时间控制动态系统，其状态过程取Rn中的值，控制过程取A中的值。具体地说，我们将Xt+1=S（Xt，νt，Zt+1），t∈ T、 X=X∈ Rn，（3.1），其中Z={Zt，t∈ T} 是一个Rm值随机序列，在每个测度Pθ下都是F自适应的i.i.d。真实但未知的Z定律对应于测度Pθ*. 如果控制过程是F适应的，则允许使用控制过程。我们用所有容许控制的集合表示。使用第2节的符号，我们设置L（X，ν）=`（XT），这样问题（2.1）就变成了infД∈AEθ*`（XT）。（3.2）3.1自适应鲁棒控制问题的公式在下文中，我们将利用未知参数θ置信域的递归构造*在我们的模型中。我们参考[BCC16]了解时间齐次马尔可夫链置信域递归构造的一般研究，并参考第4节了解与最优投资组合选择问题对应的特定递归构造的详细信息。在这里，我们假设构建信任区域的递归算法使用Rd值和观察过程，例如（Ct，t∈ T） ，满足以下抽象动力学Cst+1=R（T，Ct，Zt+1），T∈ T、 C=C，（3.3），其中R（T，C，z）是确定性可测函数。注意，根据我们对过程Z的假设，过程C是F适应的。这是我们模型的关键特性之一。