基于状态转换的储气库价值评估

（3.2）让我们用Maxz表示这两个子问题∈[x，bmax]Un（z，p，r）- k（p）z+k（p）x（3.3）maxz∈[bmin，x]Un（z，p，r）- e（p）z+e（p）x.（3.4）此外，当x=bmi时，bn（p，r）是（3.3）的最大值，当x=bmax时，bn（p，r）是（3.4）的最大值。下面我们将证明bn（p，r）≤ bn（p，r）。对于固定的p，r，让我们表示g（z）=Un（z，p，r）- k（p）zg（z）=Un（z，p，r）- 函数g与g（z，p，r）：=g（z）- g（z）=（e（p）- k（p））zis自e（p）以来在z中减少- k（p）<0。因此，g（z）等于g（z）加上z中的递减函数。因此，gis的最大值小于或等于每个p的最大值，但任意。因此，断言如下。考虑x的优化问题（3.2）∈ [bmin，bn（p，r））。显然，bn（p，r）最大化（3.3）。现在考虑（3.4）。对于每个可容许的z，我们有z≤ x<bn（p，r）≤ bn（p，r）。由于当x=bmax时，bn（p，r）使优化问题（3.4）最大化，但不可容许，我们通过函数的凹性知道x使问题最大化。这样我们就得到了x最大化（3.4）。现在我们需要确定bn（p，r）还是x最大化（3.2）。由于x对（3.3）是容许的，bn（p，r）使这个问题最大化，我们得到（bn（p，r），p，r）- k（p）bn（p，r）+k（p）x≥ 联合国（x，p，r）- k（p）x+k（p）x=Un（x，p，r）。在（3.4）中插入最大化子x，我们得到Un（x，p，r）。因此（3.2）=max（（3.3），（3.4））通过bn（p，r）最大化。考虑x的优化问题∈ （bn（p，r），bmax）类似的论证可以证明bn（p，r）最大化（3.2）。采用7X模式切换的天然气储量估值∈ [bn（p，r），bn（p，r）]我们知道x使（3.3）和（3.4）最大化，从而使（3.2）最大化。考虑到（3.4）的优化，这是与第一种情况类似的论证。现在我们限制（3.2）中的容许z，使得iminn（x）+x≤ Z≤ imaxn（x）+x。

然后我们考虑问题Maxz∈[（伊敏（x）+x）∨bmin，bmax∧（imaxn（x）+x）]hn（z- x、 p，r）+Un（z，p，r）（3.5）并获得最大化？（x，p，r）=bn（p，r）∧ （imaxn（x）+x），x∈ [bmin，bn（p，r））x，x∈ [bn（p，r），bn（p，r）]，bn（p，r）∨ （iminn（x）+x），x∈ （bn（p，r），bmax）。将此结果转移到原始问题（a=z- x） 这是一份声明。备注3.4。在进一步的假设下，可以证明bn（·，r）和bn（·，r）是单调递减的，见[26]。关于最优政策的结构，一个有趣的事实是，尽可能多地提取或注入天然气或什么都不做并不总是最优的。相反，通过使用最佳策略，你试图在下一步达到计算出的界限，或者根据存储中的气体量不做任何事情。图2展示了最优策略的结构。行动的选择取决于储存的气体量，最优策略将区间[bmin，bmax]分为三部分。假设存储区中的气体量介于bn（p，r）和bn（p，r）之间，那么最好是注入气体，如果你没有或刚刚达到绑定bn（p，r），则注入尽可能多的气体（|imaxn（x）|），或者尽管你可以注入更多气体，但注入的气体量只是没有达到bn（p，r）。当储气罐中的气体量超过bn（p，r）时，也会出现类似的情况。图2。最优策略的结构3。2.考虑特殊情况的结构。在考虑了最优策略的一般结构并意识到它不是bang-bang类型之后，我们现在关注一个特例，我们将看到一个bang-bang结构。假设bmin- 十、≤ 伊曼（x）≤ imaxn（x）≤ 最大- xfor每个n∈ {0,1，…，N}和x∈ [bmin，bmax]。因此，限制集简化为toDn（x）={a∈ A | iminn（x）≤ A.≤ imaxn（x）}。

（3.6）我们进一步假设Iminna和Imaxnar是线性递减函数。请注意，这个特殊情况包括案例iminn（x）=bmin- x和imaxn（x）=bmax- x、 可以在一个时间步内清空和填充存储，有时称为“快速存储”。此外，终端奖励函数应该是x的线性函数。定理3.5。在前面描述的特殊情况下，值函数vn是x中的线性函数，即isVn（x，p，r）=cn（p，r）x+dn（p，r）对于每个n∈ {0,1，…，N}，p∈ P、 r∈ SR（3.7）8 N.B–AUERLE和V.Riess，其中Cn和Dn是合适的函数。此外，最佳政策是formf？n（x，p，r）=iminn（x），γn（p，r）<0,0，γn（p，r）≤ 0≤ γn（p，r），imaxn（x），γn（p，r）>0。（3.8）具有合适的函数γn（p，r）≤ γn（p，r）。证据首先请注意，对于函数CNN和DNGN，存在函数gn-1和ln-1就这样-1，p，r[cn（Pn，Rn）]=gn-1（p，r）安登-1，p，r[dn（Pn，Rn）]=ln-1（p，r）。我们使用反向归纳法。对于t=N，我们通过hNin xVN（x，p，r）=hN（x，p）=cN（p，r）x+dN（p，r）的线性得到。假设Vn（x，p，r）=cn（p，r）x+dn（p，r），并在时间上从n倒退到n-1 wegetVn-1（x，p，r）=maxsupiminn-1（x）≤A.≤0{-e（p）a+e[Vn（x+a，Pn，Rn）|Pn-1=p，Rn-1=r]}，sup0≤A.≤imaxn-1（x）{-k（p）a+E[Vn（x+a，Pn，Rn）|Pn-1=p，Rn-1=r]}！=麦克斯素皮曼-1（x）≤A.≤0{-e（p）a+gn-1（p，r）（x+a）+ln-1（p，r）}，sup0≤A.≤imaxn-1（x）{-k（p）a+gn-1（p，r）（x+a）+ln-1（p，r）}xgn-1（p，r）+ln-1（p，r）+最大值（gn）-1（p，r）- 伊敏-1（x）1{gn-1（p，r）-e（p）<0}（gn）-1（p，r）- k（p））imaxn-1（x）1{gn-1（p，r）-k（p）>0}= xgn-1（p，r）+ln-1（p，r）+（gn）-1（p，r）- 伊敏-1（x）1{gn-1（p，r）-e（p）<0}+（gn-1（p，r）- k（p））imaxn-1（x）1{gn-1（p，r）-k（p）>0}=:xcn-1（p，r）+dn-1（p，r）。最后一个等式成立，因为Iminna和imaxnare是x的线性函数。

最后一个等式成立，因为两个指示器函数永远不会同时等于1。这是真的，因为在这种情况下，我们会有k（p）<gn-1（p，r）<e（p），这与k（p）是矛盾的≥ e（p）。我们看到了吗？N-1（x，p，r）=伊敏-1（x），γn-1（p，r）<0,0，γn-1（p，r）≤ 0≤ γn-1（p，r）imaxn-1（x），γn-1（p，r）>0，其中γn-1（p，r）=gn-1（p，r）- e（p）和γn-1（p，r）=gn-1（p，r）- k（p）。自e（p）≤ k（p）我们有γn-1（p，r）=gn-1（p，r）- e（p）≥ gn-1（p，r）- k（p）=γn-1（p，r）。采用制度转换的天然气储量估价注3.6。从证明中我们可以看到，在k（p）=e（p）的情况下，我们得到了γ（p，r）=γ（p，r）。因此，只有当γ（p，r）=γ（p，r）=0时，“什么都不做”才是最优的。还要注意的是，对于价格p中γn（p，r）和γn（p，r）的单调性，需要对价格过程进行进一步的假设（如[28]）。4.算法在下文中，我们为简化设置了贴现系数β=1。4.1. 算法的一般结构。任何计算储气设施价值的算法的一般结构都由基于贝尔曼方程（2.5）和定理3.3的反向归纳算法给出。给定储气库x的天然气体积水平和天然气价格p中的网格，我们首先计算x和（p，r）中所有网格点在时间N的值函数。然后，我们通过解决所有（p，r）的相应优化问题来计算策略边界b和b，并最终计算所有x和（p，r）在该阶段的最大化子和值函数。图3显示了总体结构。箭头表示循环。 （p，r） 对于n=（n），计算VN（x，p，r）=hN（x，p）- 1), . . .

, 0 （p，r）通过maxx计算bn（p，r），bn（p，r）∈[bmin，bmax]Un（x，p，r）- k（p）xmaxx∈[bmin，bmax]Un（x，p，r）- e（p）x xComputef？n（x，p，r）=最小值（bn（p，r）- x、 imaxn（x）），bmin≤ x<bn（p，r），0，bn（p，r）≤ 十、≤ bn（p，r），max（bn（p，r）- x、 iminn（x）），bn（p，r）<x≤ B最大。和vn（x，p，r）=h（p，f？n）+Un（x+f？n，p，r）图3。任何使用最优策略的算法的一般结构从算法的基本结构来看，关键问题是如何计算或估计Un（x，p，r）=En，p，r[Vn+1（x，Pn+1，Rn+1）]。最后，根据Un给出或可以计算出其他所有参数。备注4.1（使用最优策略的可能性）。将图3所示算法的基本结构与直接使用Bellman方程2.5的结构进行比较，我们发现，与其解决所有（x，p，r）的优化问题，不如解决所有（p，r）的两个优化问题。因此，我们大大减少了需要解决的优化问题的数量。这一点以及优化问题涉及整个区间的优化[bmin，bmax]，而不是取决于当前10 N.B–AUERLE和V.RIESSvolume水平的Dn，这一事实使得在使用优化策略的结构实现任何算法时，都有很好的并行化潜力。4.2. 价格流程的具体说明。为了展示可能的计算或估计方法，从而开发算法，我们引入了价格过程的特定模型。随后，一些评论将指出该模型可以推广到何种程度，从而使presentedalgorithm仍然有效。我们将考虑一个连续时间模型，我们将离散化该模型，以使用我们的MDP方法。我们假设原木价格遵循单因素Schwartz模型的制度转换变化，见[27]，在时变平均值中可能发生转换。

[10]表明，政权转换模型非常适合真实数据。下面假设Rt:=RBTC是由离散时间马尔可夫链（Rn）构造的连续过程。因此，对数价格过程（Xt）t≥0满足随机微分方程dxt=α（uRt（t）- Xt）dt+σdBt，其中α∈ R+是平均回复因子，uR（t）是马尔科夫链（Rt）处于状态R时的时间相关平均值，σ∈ R+表示波动率，（Bt）t≥0是布朗运动。价格过程（Pt）t≥0本身由Pt=eXt给出。在下面两种算法的描述中，我们假设（Rt）的状态空间仅由两个不同的值组成。备注4.2。虽然我们假设价格过程只能在两个区域之间切换，但下面的算法可以很容易地扩展到更多区域以及快速切换的情况。例4.3。【参数选择】数值示例选择了以下参数。根据[3]的参数估计，世卫组织在不切换到NBP数据的情况下建立了类似的模型。我们假设u（t）=a+at+acos（2π（t- a） /250），u（t）=a- at+acos（2π（t- a） /250），其中a=2.69，a=0.0007，a=-0.234和a=118.1。平均回归系数α假定为0.073，波动率σ=0.072。此外，马尔科夫链的转移矩阵由q给出=0.9 0.10.5 0.5.在指定了价格模型之后，我们现在介绍两种方法来获取pricedomain中的网格并计算Un。4.3. “多项式树”算法。“多项式树”方法基于一种思想，即通过重组二叉树来近似价格过程，从而在该网格上“精确地”计算条件期望值。[23]的作者开发了一种近似离散模型的方法，我们将使用该方法获得原木价格过程的近似重组树。

重组树的优点是节点数线性增长，而不是指数增长。为此，时间间隔[0，N]被划分为等距的长度部分t、 让我们为每一个y∈ R、 j=0，1，Nt、 r=1,2↑qrt（y，j）其中0≤↑qrt（y，j）≤ 1.↓你t（y，j），↑你t（y，j）在哪里- ∞ <↓你t（y，j）≤↑你t（y，j）<∞,R×n上的be函数表示网格点“向上”移动的概率t·j从y开始，以及通过“向上”和“向下”移动分别达到的值在过程中（Yrt（t））t≥0，r=1，2由YR给出t（0）=X，年t（t）=年t（j），jT≤ t<（j+1）t、 P[Yrt（j+1）=↑你t（年）t（j），j）|jt、 你t（j）]=↑qrt（年）t（j），j），P[Yrt（j+1）=↓你t（年）t（j），j）|jt、 你t（j）]=↓qrt（年）t（j），j）。这个过程，或相应的函数，现在被构造成一个重组结构，局部漂移和局部二阶矩收敛到价格过程的漂移和波动，如下所示t趋于0。使用相当直观的选择↑/↓你t（y，j）t） =y±√tσ产生一个重组结构，并通过[23]得到“基础”价格树。注意↑/↓你Tony取决于σ，σ不受区域切换的影响，因此算法价格域中的网格在每个区域中都是相同的。图4说明了二叉树过程的基本结构。yy+σ√泰- σ√泰- 2σ√tyy+2σ√ty+nσ√ty+（n）- 2)σ√泰- nσ√泰- （n）- 2)σ√图4。“基础”价格树的结构基于[23]选择概率↑qrt（y，j）=最大值0分钟1，g↑qrt（y，j）,↓qrt（y，j）=1-↑qrt（y，j）。何处↑qrt（y，j）=t·α（ur（t）- y） +y-↓Yt（y，j）↑Yt（y，j）-↓Yt（y，j）。在某种进一步的假设下，如[23]所示，该过程（Yrt） t≥0根据以下步骤切换至相应的原木价格流程：t趋于0。

因此，它的指数收敛性与价格过程密切相关。12 N.B–AUERLE和V.RIESSIn为了在算法中使用这种结构来计算（x，p，r）=Xl∈SRqrlEn，p，r[Vn+1（x，Pn+1，l）]我们选取一些固定值m∈ N选择不是这样的m·t=1。用上面的方法近似价格过程，我们知道随机变量epn+1givenepen=p可以用p（p，1）n+1…表示m+1个不同的值，p（p，m+1）n+1，正概率。图5显示了m=1、2、3时的情况。nn+1nn+1nn+1t=1t=t=m=1 m=2 m=3图5。使用不同价格的价格树结构t通过un（x，p，r）=Xl计算该树的延拓值Un∈SRqrlm+1Xj=1Vn+1（x，p（p，j）n+1，l）·p（ePn+1=p（p，j）n+1 | ePn=p，Rn=r）。（4.1）使用以下公式计算必要的概率：↑/↓qrt从施工中移除。例如，在m=1的情况下，我们只有P（ePn+1=P（P，1）n+1 | ePn=P，Rn=r）=↑qrt（对数（p），n）和p（ePn+1=p（p，2）n+1 | ePn=p，Rn=r）=↓qrt（对数（p），n）。在m=2的情况下，我们得到p（ePn+1=p（p，1）n+1 | ePn=p，Rn=r）=↑qrt（对数（p），n）·↑qrtlog（p）+σr，n+！，P（ePn+1=P（P，2）n+1 | ePn=P，Rn=r）=↑qrt（对数（p），n）·↓qrtlog（p）+σr，n++↓qrt（对数（p），n）·↑qrtlog（p）- σr，n+！，P（ePn+1=P（P，3）n+1 | ePn=P，Rn=r）=↓qrt（对数（p），n）·↓qrtlog（p）- σr，n+！。由于重组结构，我们在n时刻得到p中最多1+m·n个网格点。由于一些网格点以概率0到达，因此在计算中不需要考虑这些网格点。备注4.4（更一般的价格过程模型）。对于DXT=u（Xt，t）dt+σ（Xt，t）dBt形式的任何差异模型，根据[23]构建重组树，尽管“基础”价格树的构建在某些情况下更为复杂。

为了增加可能的制度转换，制度转换必须不影响基础价格树，而只影响概率。这意味着我们可以允许均值的转换，而不是波动性。但正如我们所看到的，例如，允许时间相关的波动是可能的。4.5（多项式树算法的收敛性）中使用状态切换的储气库估值。可以证明，在m→ ∞,i、 e.树越来越细，算法收敛于真值，最优策略收敛于真最优策略。这基本上是因为，根据[23]的事实，树对真正的差异价格过程收敛得很弱。然而，彻底的证明需要一些技术步骤，我们将在这句话中指出。为了做到这一点，让我们用V（m）表示每时间步有m个节点的树价格过程的值函数，用vn表示有差异价格过程的模型的值函数。用f（m）和fn表示相应的最优决策规则。首先要注意的是，可容许作用的集Dn（x）不依赖于树，它是紧的，且集值映射x7→ Dn（x）在[2]的意义上是连续的（定义A.2.1）。因此，根据[2]中的定理2.4.10，V（m）n（x，p，r）以及Vn（x，p，r）在x和p中对所有m都是连续的。接下来，我们可以为所有n找到一个r.V.yn，它比所有m的价格p（m）的w.r.t更大。最后，对于所有m，x和r，我们得到V（m）n（x，p，r）≤ pd+d表示正常数d，d，因为气体储存的价值可以由一个系统来限定，在这个系统中，我们可以在每个阶段一次性出售完整的储存。然后，可以使用[2]中的定理A.1.5通过归纳法来表示这个陈述：因为V（m）N=hn独立于m，我们有N的规定收敛性。

现在假设V（m）n+1→ Vn+1用于m→ ∞第n+1阶段的最大值也收敛（在LsD*（m） n+1（x） D*n+1（x），见[2]中的定理A.1.5）。然后可以证明xjqrjzv（m）n+1（x+a，p，j）Q（m）n，r（dp | p）→XjqrjZVn+1（x+a，p，j）Qn，r（dp | p）表示m→ ∞ 还有迷幻药*（m） n（x） D*n（x）4.4。一种最小二乘蒙特卡罗算法。我们提出的第二种方法是基于[20]中众所周知的最小二乘蒙特卡罗方法，该方法由[5]首次用于储气库估值。我们采纳了这个想法，并将其应用于政权更迭的问题，此外还使用了最优政策的结构。由于整个方法是基于价格过程的aMonte Carlo模拟，我们假设有M条价格过程的模拟路径。因此，我们有M条潜在马尔可夫链的路径，这表明了该机制，以及M条实际对应价格的路径。这个想法是基于这样一个事实，因为Un（x，·，r）是一个条件期望，它是当前状态r和每个x的当前价格p的函数。因此，我们通过一组m基函数的线性组合来近似该函数，νrm，即我们假设（x，p，r）=mXi=1βri~nri（p），其中βri，i=1，m在某种意义上是最优的。为了计算系数，使用了β-ria最小二乘法。在时间点n，我们模拟了M价格pn，pMnand MCORR对应的区域，rMn。设k=1，fM是rkn=1和k=fM+1，那些rkn=2的。对于这两组指数，我们现在使用最小二乘法分别计算βi和βi。作为网格pn上条件期望的实现，pmnw我们使用已经计算的值Vn+1（x，pn+1，rn+1）。