条件最优停止：一种时间不一致的优化

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Conditional Optimal Stopping: A Time-Inconsistent Optimization》
---
作者：
Marcel Nutz, Yuchong Zhang
---
最新提交年份：
2019
---
英文摘要：
  Inspired by recent work of P.-L. Lions on conditional optimal control, we introduce a problem of optimal stopping under bounded rationality: the objective is the expected payoff at the time of stopping, conditioned on another event. For instance, an agent may care only about states where she is still alive at the time of stopping, or a company may condition on not being bankrupt. We observe that conditional optimization is time-inconsistent due to the dynamic change of the conditioning probability and develop an equilibrium approach in the spirit of R. H. Strotz\' work for sophisticated agents in discrete time. Equilibria are found to be essentially unique in the case of a finite time horizon whereas an infinite horizon gives rise to non-uniqueness and other interesting phenomena. We also introduce a theory which generalizes the classical Snell envelope approach for optimal stopping by considering a pair of processes with Snell-type properties.
---
中文摘要：
受P.-L.Lions最近关于条件最优控制工作的启发，我们引入了一个有限理性下的最优停止问题：目标是在停止时的预期收益，条件是另一个事件。例如，代理人可能只关心其停职时还活着的州，或者公司可能以不破产为条件。我们观察到，由于条件概率的动态变化，条件优化是时间不一致的，并本着R.H.Strotz在离散时间内对复杂代理所做工作的精神，开发了一种均衡方法。在有限时间范围内，平衡点本质上是唯一的，而无限时间范围会导致非唯一性和其他有趣的现象。我们还引入了一个理论，该理论通过考虑一对具有Snell型性质的过程，推广了经典的Snell包络最优停止方法。
---
分类信息：

一级分类：Mathematics        数学
二级分类：Optimization and Control        优化与控制
分类描述：Operations research, linear programming, control theory, systems theory, optimal control, game theory
运筹学，线性规划，控制论，系统论，最优控制，博弈论
--
一级分类：Mathematics        数学
二级分类：Probability        概率
分类描述：Theory and applications of probability and stochastic processes: e.g. central limit theorems, large deviations, stochastic differential equations, models from statistical mechanics, queuing theory
概率论与随机过程的理论与应用：例如中心极限定理，大偏差，随机微分方程，统计力学模型，排队论
--
一级分类：Quantitative Finance        数量金融学
二级分类：Mathematical Finance        数学金融学
分类描述：Mathematical and analytical methods of finance, including stochastic, probabilistic and functional analysis, algebraic, geometric and other methods
金融的数学和分析方法，包括随机、概率和泛函分析、代数、几何和其他方法
--

---
PDF下载：
--> Conditional_Optimal_Stopping:_A_Time-Inconsistent_Optimization.pdf (363.59 KB)

2022-6-14 03:40:41 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Optimization Mathematical Conditioning Differential Quantitative

条件最优停止：时间不一致的优化Marcel Nutz*张玉冲+2019年10月15日根据P.-L.Lions最近关于条件最优控制的工作，我们引入了一个基于理性的最优停止问题：目标是在另一个事件的条件下，停止时的预期收益。例如，代理人可能只关心停止时她还活着的州，或者公司可能以不破产为条件。我们观察到，由于条件可能性的动态变化，条件优化是时间不一致的，并本着R.H.Str otz在离散时间内对复杂代理所做工作的精神，开发了一种均衡方法。研究发现，在有限时间范围内，均衡本质上是唯一的，而在有限时间范围内，均衡会导致非唯一性和其他有趣的现象。我们还引入了一个理论，通过考虑一对具有Snell型性质的过程，推广了经典的Snell包络最优停止方法。条件最优停车；时间-不一致性；平衡2010主题分类60G40；93E20；91A13；91A151简介经典的最优停车问题是在所有停车时间τ上最大化预期收益[Gτ]，其中G=（Gt）是给定的自适应过程。在本文中，我们建议研究一个标准，即在τ：supτE[Gτ{τ]时未达到给定停止时间σ的条件σ} ]P（τ σ） 其中τ σ <=> τ<σ或σ=∞. (1.1)*部门。哥伦比亚大学统计与数学系，mnutz@columbia.edu.Research由阿尔弗雷德·P·斯隆奖学金和NSF拨款DMS-1812661资助。MNis感谢Pierre Louis Lions和Abdoulaye Ndiaye的有益讨论。+部。

多伦多大学统计科学系，余冲。zhang@utoronto.ca.When该模型基于马尔可夫链X，σ的自然选择是给定集合B的第一次退出时间。例如，如果停止决策是由一家公司做出的，一个应用是X在B中表示solvencysoσ是破产时间。事实上，公司可能只关心停止支付发生在σ之前的州，因为公司在其他州不再存在。或者，对于做出财务决策的个人来说，σ可能是死亡时间，那么模型表示，她只关心她活着时支付发生的状态。通常不可能将此类条件问题建模为一个类最优停止问题，除非在条件事件不依赖于停止时间τ的普通情况下。经典的f框架要求我们将其建模为退出时间问题，其中为退出事件指定了一个特定的f（即GTT的值≥ σ). E、 对于可能面临死亡的人，我们不能简单地说：“我不关心死后会发生什么。”相反，我们必须在死亡时指定特定的报酬。即使建模者为了“务实”愿意确定一些价值，也很难做出合理的选择，优化的解决方案通常取决于此。本文的灵感来自P.-L.Lions最近的工作，该工作介绍了条件过程的最优控制。在这里，主要的例子是控制布朗运动的漂移，而支付取决于给定域内的过程。该问题被转化为福克-普朗克方程的最优控制问题，这是一种通过最终条件耦合的特殊类型的平均场博弈问题。

对域趋向于Rd的经典情况的限制给予了特别关注。虽然观察到最优控制取决于起点，但没有提出时间一致性问题。在本文中，我们介绍了一个据我们所知的具有条件的最优停止问题。我们的一个初步观察结果是，从Strotz的角度来看，问题是时间不一致的【29】：如果一个代理在时间t=0时确定了一个最佳策略，并在以后考虑到她的当前状态重新考虑她的决定，她可能会反驳她之前的决定，并发现她的策略不再是最佳的。在这种动态规划原理不适用的设置中，有不止一个优化的概念。预先提交的问题是在t=0的情况下优化预期的支付效果，假设该决策稍后不会受到质疑；i、 例如，代理“承诺”初始选择。（参考文献[25]的理论与这个概念相对应。）用斯特罗茨的术语来说，一个没有承诺装置的老练的代理人意识到她的“未来自我”可能会推翻她目前的计划。因此，她将此视为“一致计划策略”的约束：他选择她的行为，而忽视她知道自己未来不会执行的计划；也就是说，她选择了一种行为，这样她未来的化身就不会有偏离的动机。由此产生的时间一致性策略被称为子博弈完美纳什均衡，这是我们将重点关注的概念。不同的解释遵循代际模型或重叠代际模型的文献（见[28]及其后的工作），其中未来的决策由下一代而不是其他人自己做出。

例如，政府机构可能希望考虑到未来的总统任期和在下次选举后不会逆转的选择或政策。除了自身有趣之外，条件停止也可能有助于阐明过程的条件控制，因为最优停止通常比控制更容易处理。1.1文献继[29]的早期工作之后，经济学中出现了大量涉及时间不一致的文献。例如，[27]重新考虑了Strotz的概念，即当决策点的数量发生变化时，采用非指数折扣进行设定，并且[26]研究了随时间变化的偏好。非标准折扣（尤其是双曲线）和时间偏好（如习惯形成）是本文献中时间不一致的最常见原因；有关概述，请参阅[14]。这些模型大多是在有限或有限时间范围内的离散时间内制定的。当优化目标涉及期望的非线性函数时，也会出现时间不一致性，如[2]中的均值-方差准则，或[1、15、23]中的概率扭曲。（概率失真对应于一个优化目标，该目标过度强调或低估了事件相对于其目标概率的重要性。）[10，11]的开创性工作启动了关于如何定义和获得均衡策略以实现连续时间过程的最优控制的研究，当规划师使用非经验贴现时，以拉姆齐问题为例。在连续设置中，及时更改单个实例的控件是没有意义的，因为它不会影响差异。作者开发了一个一阶标准，对应于短时间间隔内控制的变化，这意味着代理可以在短时间内承诺。

这导致了许多工作，包括具有非指数贴现的投资组合优化【12，13】、平均方差投资组合选择【5，8】和一般线性-二次控制【16，17】。然而，这种平衡的概念并不是唯一可能的；特别是，一阶条件通常不足以实现最优性。最近的研究[21]引入了一个更强的最优性概念，并强调了它们之间的差异。在[3，4]中，作者分别研究了离散时间和连续时间中的时间不一致控制，以及它们之间的关系，这类目标是预期效用和预期效用的非线性函数之和，可能依赖于初始条件。关于依赖于initialcondition的连续时间框架，另请参见[31]。本文最接近的参考文献是[22]，作者研究了阿马尔科夫环境下非指数贴现下离散时间的最优停止。在有限水平的情况下，向后递归产生了唯一的平衡。在有限视界的情况下，作者关注的是时间齐次马尔可夫链。在减少不耐烦（包括双曲线贴现）的假设下，通过迭代“战略推理”或“实际游戏”图构建时间齐次均衡（参见第2.1节中的Φ）；也就是说，每个代理都会优化其在继续和停止之间的决策，同时根据所有其他代理的决策进行决策。值得注意的是，可以获得对所有试剂都是最优的平衡。我们注意到【22】早于【18】，其中迭代方法首次在连续时间内实现。在[18]中，对于时间均匀差异，获得了时间均匀平衡；对于时间不均匀差异，获得了非均匀平衡。

关于连续时间内最优平衡的讨论，另请参见【20】；关于最近关于非指数折扣最优停止的研究，其中可能不存在平衡，而这一事实与平滑粘贴失败有关。文献[19]研究了概率失真下的最优停止，特别关注通过从天真策略迭代获得的平衡。上述关于连续时间最优停止的工作使用与离散时间情况的直接类比来确定平衡：每个代理可以停止或继续，而无需任何承诺装置。事实上，为了达到最佳停车效果，[10]中的一阶方法并不是必须的：在一个实例中及时停车的决定会立即影响该过程。另一方面，正如[9]在前景理论的背景下所强调的，不连续时间的定义可能包括不合理的均衡，这是基于这样一个事实，即如果后续代理的top和G是连续的，则对于时间t代理的继续和停止产生相同的回报。特别是，“总是s打顶”是一种平衡，即使G在增加。在齐次差分模型中，[6，7]使用一阶条件确定两个时间不一致问题的平衡，然后“总是停止”不一定是非平衡。迄今为止，这两个定义之间的关系尚未明确。据我们所知，本文是对条件最优停止的首次研究。关于条件过程的控制，我们想提及R.Carmona和M.Laurière正在进行的工作，其中[25]的问题被研究为开环和闭环控制的平均场控制问题，以及Y.Achdou和M正在进行的工作。

Laurière关于数值分辨率。1.2 Synopsis我们研究（1.1）中在有限或有限时间范围内离散时间设置下的条件最优停止问题。虽然连续时间设置可能很有意义，但我们的选择避免了上一节提到的一些困难，并导致对均衡的无争议定义：在每个时间和状态（t，ω），代理都会做出一个简单的选择，即停止或继续，而不提交未来的代理。我们在一个一般的随机框架中分析这种均衡，同时特别关注马尔可夫环境。在有限时间范围T的情况下，存在一个自然终止条件（在T处必须停止），我们将看到存在一个可以通过向后递归构造的平衡点。这种递归计算两个过程，一个与经典情况类似的值过程和一个额外的“生存过程”，它跟踪未来自我决策所诱导的条件概率。均衡本质上是唯一的，如果随机框架是马尔可夫的，那么均衡也是唯一的。这些发现与第1.1节中描述的其他时间不一致问题的结果一致。在有限视界的情况下，我们通过传递到有限视界问题的极限，提供了一个相当普遍的存在结果。（请注意，对于非经验折扣，如果折扣不能满足日益减少的不耐烦，则存在可能失败；参见[22，示例3.1]。）另一方面，我们还提供了示例，表明这种情况比之前的情况更微妙。我们将看到，在马尔可夫环境中，除了马尔可夫平衡外，还可能存在非马尔可夫平衡，这推翻了关于我们问题的一个猜想。此外，即使在马尔可夫平衡类中，平衡也不一定是唯一的。

更令人惊讶的是，我们详述了一个时间均匀马尔可夫例子，它不承认时间均匀平衡，而时间不均匀平衡确实存在。这与[18，22]的结果形成了鲜明的对比，并且说明了对于我们的问题，一般来说，迭代[22]的“战略推理”图不会收敛。在技术层面上，一个原因是，非指数贴现（如[22]中所述）保持了动态规划原理的一个不等式。在我们的问题中，由于条件概率的重新缩放可能会导致两个方向的偏差。在我们的环境中，寻求经典斯内尔包络理论的类似物似乎很自然。事实上，在有限时间范围递归中描述的两个过程可以用更抽象的术语通过超鞅性质来描述。这就产生了一个概念，我们称之为斯内尔对，并延伸到有限的地平线设置。斯奈尔对与平衡呈一元关系。与经典情况类似，通过在值过程遇到障碍G的地方停止，从Snell对中检索平衡策略，但需要生存过程来调整条件作用下的经典超鞅性质。反过来，Survival进程也具有超级马丁的特性。我们不了解先前文献中的类似概念。本文的其余部分组织如下。在第二节中，我们详细介绍了时间不一致性的观察结果和均衡概念。第3节介绍了有限地平线案例的结果。第4节介绍了有限层内平衡的存在情况，第5节介绍了相应的示例。最后的第6节讨论了斯内尔对及其与平衡的关系。2设置let T∈ N∪ {∞} 成为时间范围。

如果T<∞, 集合T={0，1，2，…，T}；ifT=∞, 设置T=N。我们将在概率空间上工作(Ohm, F、 P）配备过滤（Ft）t≤这太微不足道了。设σ为P（σ>0）=1的停止时间；我们认为σ之后发生的事件是不相关的，并将Dt：={t<σ}称为时间t的相关域∈ T、 案例中=∞, 设置D很方便∞:= ∩t型∈TDt={σ=∞}. 我们可以注意到σ（ω）=inf{t∈ T：ω/∈ Dt}；实际上，指定σ等同于指定递减适应序列（Dt）t∈Twith P（D）=1。下面，公约inf = ∞ 已使用。最后，设G=（Gt）t≤Tbe描述在时间t停止的支付的自适应过程。Toutside dt的值无关紧要；我们设置Gt= 在DCT上进行标记，其中 是具有0·· = 我们认为≤T | Gt | 1Dt]<∞. 由于我们对严格在σ之前发生的事件感兴趣，包括σ从未发生的情况，因此引入符号将非常有用 t型<==> s<t或t=∞ 对于s，t∈ [0, ∞].然后，我们可以在初始时间考虑预先提交的最优停止问题，Vpre=supτ≤T，P（τσ） >0E[Gτ{τσ} ]P（τ σ). （2.1）注意，上确界仅在停止时间τ上运行，避免对空集进行条件化，并且此类时间集始终包括τ≡ 示例2.1（马尔可夫设置）。设X是一个马尔可夫链，其值在可分度量空间X中，从X=X开始，设B X是一个可测子集，包含X且设σ=inf{t≥ 0:Xt/∈ B} 是B的第一个退出时间。然后，我们的模型要求我们只评估X轨迹位于B直到停止时间τ的世界状态。对于确定性函数g和贴现因子δ，支付的一个可能特征是Gt=δtg（t，Xt）∈ (0, 1].