随机存储问题的模拟方法：一种统计方法

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Simulation Methods for Stochastic Storage Problems: A Statistical
  Learning Perspective》
---
作者：
Michael Ludkovski and Aditya Maheshwari
---
最新提交年份：
2018
---
英文摘要：
  We consider solution of stochastic storage problems through regression Monte Carlo (RMC) methods. Taking a statistical learning perspective, we develop the dynamic emulation algorithm (DEA) that unifies the different existing approaches in a single modular template. We then investigate the two central aspects of regression architecture and experimental design that constitute DEA. For the regression piece, we discuss various non-parametric approaches, in particular introducing the use of Gaussian process regression in the context of stochastic storage. For simulation design, we compare the performance of traditional design (grid discretization), against space-filling, and several adaptive alternatives. The overall DEA template is illustrated with multiple examples drawing from natural gas storage valuation and optimal control of back-up generator in a microgrid.
---
中文摘要：
我们考虑通过回归蒙特卡罗（RMC）方法解决随机存储问题。从统计学习的角度出发，我们开发了动态仿真算法（DEA），该算法将现有的不同方法统一到一个模块化模板中。然后，我们研究了构成DEA的回归架构和实验设计的两个核心方面。对于回归部分，我们讨论了各种非参数方法，特别介绍了高斯过程回归在随机存储环境中的使用。对于模拟设计，我们比较了传统设计（网格离散化）、空间填充和几种自适应方案的性能。以微电网天然气储量评估和备用发电机优化控制为例，说明了整个DEA模板。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Computational Finance        计算金融学
分类描述：Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法，包括蒙特卡罗，偏微分方程，格子和其他数值方法，并应用于金融建模
--
一级分类：Mathematics        数学
二级分类：Optimization and Control        优化与控制
分类描述：Operations research, linear programming, control theory, systems theory, optimal control, game theory
运筹学，线性规划，控制论，系统论，最优控制，博弈论
--

---
PDF下载：
-->

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：统计方法 Architecture Experimental Quantitative Optimization

随机存储问题的模拟方法：统计学习视角Michael Ludkovski*和Aditya Maheshwari+美国加利福尼亚州圣巴巴拉市加利福尼亚大学南厅统计与应用概率系，邮编93106。2018年4月2日摘要我们考虑通过回归蒙特卡罗（RMC）方法解决随机存储问题。从统计学习的角度来看，我们开发了动态仿真算法（DEA），该算法将不同的现有方法统一在一个模块化模板中。然后研究构成DEA的回归架构和实验设计的两个核心方面。对于回归部分，我们讨论了各种非参数方法，特别介绍了高斯过程回归在随机存储环境中的使用。对于模拟设计，我们比较了传统设计（网格离散化）、空间填充和几种自适应方案的性能。以微电网中天然气储量评估和备用发电机优化控制的多个实例说明了整个DEA模板。关键词：回归蒙特卡罗、模拟设计、高斯过程回归、天然气存储、微电网控制1简介随机存储问题涉及在不确定性条件下有限库存容量的优化使用，其动机来自商品管理、能源供应、运营研究和供应链的模型。所有这些设置的共同点是，当系统状态随时间随机变化时，决定如何以最佳方式添加和减少库存。例如，在储气库版本【5、7、8、10、11、29、30、34、36、37】中，目标是通过买卖天然气来管理地下洞穴，主要随机因素是商品价格。

在微电网背景下【20、21、22】，目标是通过最大化与可再生间歇式电源（如太阳能或风能）相关的跨时间存储，以最低成本输送电力，从而最大限度地减少不可再生备用发电机的使用。在水力泵储能装置中，目标是以最低成本匹配上游流入和下游能源需求【1、13、38】。*电子邮件：ludkovski@pstat.ucsb.edu+电子邮件：maditya0310@gmail.com.ThisNSF DMS-1736439部分支持这项工作。为了研究随机存储问题，我们假设了随机风险因素的动态性，并定义了目标函数。然后通过动态规划获得解决方案，将全局优化简化为局部问题的迭代序列，并通过反向递归及时解决。文献中使用了两种主要方法来处理这些控制问题：基于概率模拟的方法【5、7、8、10、14、17、30、37】和偏微分方程（PDE）】【11、33】。在本研究中，我们关注模拟策略，特别是回归蒙特卡罗（RMC）框架。在美国期权定价中引入了RMC【27，35】，RMC适应了存储问题【7，10，14，12，4，31】。主要的并发症是内生库存变量的存在，其轨迹取决于控制。因此，存储问题被归类为一个更一般的类别，称为最优切换，其中设施的控制器可以在不同的状态之间切换【32】。由于存储问题是在时间上向后解决的，并且控制器不知道将达到哪些状态，因此[27]中最初基于路径的Longstaff-Schwartz策略是不可行的。为了克服这一障碍，Carmona和Ludkovski【10】建议及时向后传播库存轨迹。[4，14]进一步探讨了这一方向。

另一种不同的方法是将总体存储问题视为切换问题的连续集合，并根据It当前的库存水平进行索引。然后，人们可以通过离散库存I来减少到一定数量的一维切换问题，然后并行解决这些问题，并在I方向上使用相互极化【7，30】。另一种方法是通过将（P，I）域划分为子域，在多变量集中联合查看随机风险因子P和库存I，无论是全局的（4，30），还是局部的（9，37）。这在[25，26]中得到了进一步扩展，他还将控制c纳入状态，以处理库存动态具有进一步外部冲击的问题。为了处理未知状态分布，作者建议对反向过程进行多次迭代，以提高解的质量。除RMC外，其他基于蒙特卡罗的替代方案包括Van Ackooijand Warin[36]最近提出的应用随机对偶动态规划和使用二项式或多项式树的马尔可夫决策过程方法[5，17]。RMC估值算法可分为三个子问题：o条件期望值/连续值的近似；o评估最佳控制。o路径值的估计。在存储设置中，大多数模型都考虑离散的存储模式，因此最优控制仅是连续值的最大值（通常通过蛮力比较获得）。

至于条件期望，在RMC的保护伞下，文献中流行三种主要方法来近似它：立即回归蒙特卡罗（RNMC）[7、8、10、27、30、37、35]，随后回归蒙特卡罗（RLMC）[4、12、23、24、31]和控制随机化（CR）[25、26]。路径值的计算可以基于一步前瞻（在[35]中引入的所谓TvR模式），利用Egloff在一系列论文[15，16]中提出的部分轨迹的w步前瞻，或Longsta off和Schwartz[27]引入的完整[t，t]轨迹。贡献在本文中，我们从统计学习的角度对随机存储问题进行了统一的处理。我们将基于仿真的动态规划方法重新定义为机器学习任务的迭代序列。在其基本层次上，任务对应于近似值函数，由时间步长参数t索引。等效地，任务可以被视为学习基础q值或最优反馈控制ct，这两种观点都是有用的。从机器学习的角度来看，存储模型被视为一个随机模拟器，它会产生有噪声的路径观测，目的是通过明智地选择要运行的模拟来恢复潜在平均行为，即条件期望。该框架自然强调计算复杂性，并提供了一个容纳各种近似技术的抽象模块化模板。事实上，我们的模板涉及三个主要部分：（i）确定运行哪种模拟的实验设计；（ii）条件期望的近似技术；（iii）恢复最优反馈控制的优化步骤。虽然这些子问题在其他地方得到了不同的处理，但据我们所知，我们是第一个在此背景下完全模块化和提炼它们的人。

特别是，强调RMC方法的设计方面，直到最近才在[18，28]中提到。我们借用了第一作者在[28]中介绍的美国选项设计框架，据我们所知，这是第一篇探索存储问题背景下的实验设计的文章。我们表明，现有的存储问题回归蒙特卡罗建议都与此模板非常吻合，而且我们的设置建议了各种进一步的改进。具体而言，我们解决了以下3个增强：（A）新的模拟设计，包括空间填充和各种自适应版本；（B） 用于学习值函数的非参数回归架构，如高斯过程回归；（C） 不同RMC Ingredintscross时间步的混合方法，甚至在联合-（P，I）和离散库存方案之间交替使用。我们强调我们模板的后一种混合匹配功能，它允许在后退递归过程中，当t发生变化时，直接使用不同的方法，无论是确定性的还是适应性的。我们展示了这样一种可能性，解决了非光滑终端条件。混合和匹配子例程对于在广泛的软件库中实现特别有吸引力。所开发的动态仿真算法适用于范围广泛的随机存储设置，在状态变量和潜在状态动力学维度上具有可扩展性。Weillustrate DEA与4个不同的扩展案例研究。前三个案例研究考虑了天然气储存设施的评估，从福赛斯和陈（11）首次引入的标准基准开始。然后扩展此基准以增加切换成本（使控制机制成为状态的一部分），并考虑同时优化两个存储设施（导致3D状态空间）。

最后但并非最不重要的一点是，我们考虑了一个与微电网管理截然不同的示例，该示例解决了调度备用发电机的最佳方法，以平衡间歇性可再生电源和有限电池。我们的发展与最近关于最优止损的文献平行，特别是在Bermudan期权定价的背景下，已经提出并研究了大量的策略[28]。众所周知，就计算方法而言，存储问题，尤其是离散控制的存储问题，是“本质上”最优停止。尽管如此，各自的知识转移并非微不足道，我们在此讨论的各个数值算法之间仍存在实质性差距。因此，本文将最优停止技术“提升”到随机存储的设置（即最优切换），并可以看作是朝着进一步随机控制问题（如最优脉冲或连续控制）的类似处理迈出的一步。论文的其余部分组织如下。第2节描述了经典的存储问题及其解决方案的关键要素。第3节描述了将回归蒙特卡罗的求解步骤模块化为一系列统计学习任务的算法。第4节讨论了高斯过程回归的数学和文献中在存储问题背景下使用的其他流行回归方法。在第5节中，我们介绍了不同的设计备选方案，如空间填充、自适应和动态，以利用空间信息，并利用分批设计有效实施非参数回归方法（尤其是高斯过程回归）。第6节和第7节分别介绍了气体储存和微电网管理的数值说明。

最后，第8节得出结论。2问题描述一个存储问题的例子是随机风险因素和一个库存状态变量的存在。风险因素具有自主动态性，而库存由运营商通过存储策略（完全）控制；因此，后一种动态是内生的。我们考虑的存储问题的第二个特征是其切换特性：控制器操作包括直接切换存储模式。反过来，储存制度又会推动库存的动态变化。根据设置，状态要么是控制变量，要么是系统状态的一部分。为了使我们的演示更具体，我们将重点放在具有随机价格的经典存储问题上。也就是说，有两个主要的状态变量：ptan和It。Pt公司∈ R+表示存储商品的价格；它∈ [0，Imax]是库存级别。我们在离散为有限网格0=T的时间间隔[0，T]上表示存储动态不确定时间。tk…<tK=T，因此tK=kt=TK。对于价格，我们假设形式Ptk+1=Ptk+b（tk，Ptk）的外生马尔可夫动力学t+σ（tk，Ptk）Wtk，（1）其中(Wt）是外源性i.i.d.随机冲击。对于本文的其余部分，我们将Wtk公司~N（0，√t） 表示布朗运动动力学；任何其他（依赖时间的）冲击也可以直接利用。我们用Ftk表示价格过程直到时间tk生成的σ-代数，并用F=（Ftk）表示相应的过滤。库存水平ItfollowsItk+1=Itk+a（ctk）t、 （2）其中ctkis为库存控制，表示贮存注入c>0、提取c<0或保持c=0的速率。控制与存储状态mtk相关联。

我们假设mtk有三种状态∈ J：={+1，-1，0}分别表示注入、退出和不执行任何操作。状态和控制由联合状态确定：mtk+1=M（tk，Ptk，Itk，mtk），（3）ctk（mtk+1）=C（tk，Ptk，Itk，mtk；mtk+1）（4）注意，上述形式意味着在每个时间步tk和状态（Ptk，Itk，mtk）时，控制员点击她的下一个状态mtk+1，然后确定她的控制ctk（mtk+1）。它还直接将控制限制为马尔可夫反馈形式，使政策（ctk、mtk+1）（Ftk）适应。因此，（Ptk、Itk、mtk）是一个马尔可夫过程，适用于价格过滤（Ftk）。设π（P，c）为当价格为P和k（i，j）时，使用控制c获得的瞬时利润率≥ 0是从状态i切换到j的切换成本。然后是π（Ptk，mtk，mtk+1）：=π（Ptk，ctk（mtk+1））t型-K（mtk，mtk+1）是一个时间步[tk，tk+1]中赚取的净利润。为了表示控制器在[tk，t]上沿Ptk=Ptk:tk指定的路径的累积利润，以及选定的区域序列mtk：=（mtk：tk）（因此控制ctk：=（ctk：tk）），我们使用v（tk，Ptk，Itk，mtk）：=K-1Xs=ke-r（ts-tk）π（Pts、mts、mts+1）+e-r（T-tk）W（PT，IT），（5）其中r≥ 0是折扣率，W（P，I）是合同到期时的最终条件（通常涉及最终库存I）。注意，它是根据mtkusing（2）递归确定的。控制员的目标是最大限度地提高折扣预期利润[tk，T]V（tk，P，I，m）=supmtkEhv（tk，Ptk，Itk，mtk）Ptk=P，Itk=I，mtk=mi，（6）根据Its∈ [Imin，Imax]s、 （7）问题（6）属于随机最优控制，满足动态规划原理。

即V（tk，Ptk，Itk，mtk）=最大值∈JEhπ（Ptk、mtk、m）+e-r电视（tk+1、Ptk+1、Itk+1、m）Ptki，（8）当期望值超过随机变量Ptk+1时，因为库存Itk+1完全由Itk和[tk，tk+1]上选择的制度m决定。注意，由于库存约束，一些制度可能不适用于不同的初始条件，因此形式上最大值（8）超过J=J（tk，Ptk，Itk，mtk） {+1, -1, 0}. 例如，如果库存为零，则排除Itk=0进一步取款，J（tk，Ptk，0，mtk）={0，1}。这些限制甚至可能取决于时间或价格，例如在水电管理方面。备注1。在我们的主要设置中，给定随机状态和状态，控制的选择是预先确定的。更一般地说，在该制度的条件下，可能会有一组可接受的控制sa（tk，mtk+1），添加一个额外的优化子步骤。例如，我们可能有A（tk，+1）=（0，cmax（Itk）]和A（tk，-1） =[cmin（Itk），0），其中cmin是最大提取率，Cmax是最大注射率。当| A |>1时，优化问题（8）要求首先找到最佳状态mtk+1，然后找到最佳控制ctk（mtk+1）本制度允许的。然后，原始情况对应于A是一个单态，可以解释为A上的一个微不足道的优化，例如，由于bang-bang结构。抽象地说，如果必要的话，我们可以始终编写包含内部优化器的ECTK（mtk+1）=C（tk，Ptk，Itk，mtk；mtk+1）。2.1解决方案结构由于马尔可夫结构，在每个时间步Tk和状态（Ptk、Itk、mtk），控制器将其下一个状态mtk+1（因此控制ctk（mtk+1））m*（t，P，I，m）=arg maxj∈J{π（P，m，j）+q（t，P，I+a（ct（j））t、 j）}（9），其中q（tk，P，I，m）：=Ee-rtV（tk+1，Ptk+1，I，m）Ptk=P.