基于强化回归的最优停车

如果我们用Kr表示强化回归中固定基础的基数，那么与标准回归相关的成本比由（19）/（23）给出，这是系数的成本标准回归系数的强化回归成本=Kr+J/2K1+Krc*/cf1+Kc*/另一方面，在标准情况下，基于新实现的后续较低估计值将需要大约NtestJ Kcf，产生成本比（见（22）），成本新模拟强化回归成本新模拟标准d回归=Kr+J/2K+J KrKc*/综上所述，我们得出结论，当（Kr+J/2）/K为“小”时，由于强化回归算法而导致的成本降低是“大”的，而在下限结构中，当除了J c*. cf（例如）。一些理论结果让我们考虑一个随机向量（X，Y）∈ 某些概率空间上的Rd×R(Ohm, F、 P），基于样本（x（n），Y（n）），n=1，…，估计条件经验u（x）=E[Y | x=x]，（24）的问题，N、 根据（X，Y）的联合分布。假设回归基由一组固定的标准基函数ψk:Rd组成→ R、 k=1。。。，K、 （例如，多项式）和一组辅助基函数ν，νb，其中通常b要小得多，谢谢。其思想是，函数u可以很好地由mVb的函数来逼近：=span{ν，…，νb}。在这种情况下，可以考虑最小二乘问题，eβ：=ar g infβ∈RK+bNXn=1Y（n）-KXk=1eβkψk（X（n））-bXk=1eβK+KνK（X（n））！（25）s eteu（x）=KXk=1eβkψk（x）+bXk=1eβk+kνk（x）。（26）以下定理为eu提供了误差界限，请参见【10】。定理1。（精度标准全局回归）修正一些ε∈ (0 , 1). 假设是SUPX∈Rd | u（x）|≤ L和supx∈RdVar[Y | X=X]≤ σ、 那么它以至少1的概率成立- εZ | eu（x）- u（x）|u（dx）。

最大值σ、 L（1+ln N）K+对数（ε-1） N+输入∈ψK+VbZRd | w（x）- u（x）|u（dx）（27），其中ψK：=跨度{ψ，…，ψK}，u表示x在（24）和中的分布。表示达到某个绝对常数的不等式。鉴于（25），对于任意但固定的w（x），一个简单的∈ ψK+Vb，infeβ∈RK+bNXn=1Y（n）-KXk=1eβkψkX（n）-bXk=1eβK+KνKX（n）!= infbβ∈RK+bNXn=1Y（n）- w（X（n））-KXk=1bβkψkX（n）-bXk=1bβK+KνKX（n）!相应的估计量bu（x）=KXk=1bβkψk（x）-bXk=函数u（x）的1bβK+KνK（x）（28）- w（x）。由于（27），我们因此得到了（28），Z | bu（x）- u（x）+w（x）|u（dx）。最大值σ、 Lw公司（1+ln N）K+对数（ε-1） N+δKwithLw：=supx∈Rd | u（x）- w（x）|，δK：=infw∈ψK+VbZRd | w（x）- u（x）|u（dx）。由于w的选择是任意的，我们得出的概率至少为1- εZ | eu（x）- u（x）|u（dx）。最大值σ、 L（1+ln N）K+对数（ε-1） N+δK，其中l:= infw公司∈ψK+Vbsupx∈Rd | u（x）- w（x）|。（27）中束缚L的约化为L在第3.3节中开发的向后alg算法中至关重要。特别是r，对于一个差异过程X，给定其状态Zj，基础过程的条件方差Zj=Xtjat tj-1=Xtj-1，为O级（tj- tj公司-1). 不难证明，在某些条件下，Var[Vj（Zj）| Zj-1=z]≤ E（Vj（Zj）- Vj（Zj-1） ）| Zj-1=z= O（tj- tj公司-1） ，在z上均匀分布，表示σ。maxj（tj- tj公司-1） in（27）。因此，L≤ maxjsupzE[| Vj（Zj）- Vj（z）| | Zj-1=z]|≤ maxjsupzqE|Vj（Zj）- Vj（z）| | Zj-1=z. maxjptj- tj公司-1、在这种情况下σ<< （27）中的L和L到L的减少 σ将导致实际计算增益。5、数值示例在本节中，我们通过考虑金融中的两个期权定价问题来说明基于强化回归的蒙特卡罗算法的性能。5.1. 百慕大max d资产调用这是在[3]中研究的基准示例。

具体而言，考虑了具有d个相同分布资产的模型，其中每个基础都有股息收益率δ。资产的风险中性动态由dxktxkt=（r- δ） dt+σdWkt，k=1。。。，d、 其中Wt，与重量无关的一维布朗运动andr、δ、σ是常数。在任何时候t∈ {t，…，tJ}期权持有人可以行使该期权并获得支付（Xt）=（max（Xt，…，Xdt）- K） +。我们取ti=iT/J，i=0。。。，J，T=3，J=9，X=（X，…，Xd）Twith X=…=Xd=x。根据维数d和基础函数的选择，标准最小二乘法和强化回归算法的下界如表1所示。在这两种情况下，我们生成N=1000000条路径来估计回归系数，另一个测试=1000000来构造表1中给出的下限（见（21））。表1最后一列中的双重上界是基于使用10000条内部路径和1000000条外部路径的强化回归得到的。可以看出，当在所有维度上使用相同的基本函数时，边界有了明显的改进。这种改进在小尺寸上尤其明显。这些结果还表明，RLS算法比LS算法更有效。事实上，如表1所示，当使用线性多项式时，可以获得RLS算法的下限值，LS算法只能在二次多项式上获得，从而导致成本降低2d+Jd（d+1），见第3.5节。对于尺寸基函数lowe r boundsuper boundsRegression reif，跳过基1（Xi）、g（X）。

法规1，Xi12.91（0.018）13.77（0.015）14.12（0.042）1，Xi，XiXj13.75（0.014）13.86（0.016）13.97（0.026）1，Xi，g（X）13.66（0.023）-14.09（0.071）1，Xi25.25（0.013）25.99（0.017）26.34（0.080）1，Xi，XiXj25.93（0.020）26.12（0.017）26.22（0.026）1，Xi，g（X）25.82（0.026）-26.35（0.081）1，Xi37.95（0.025）38.22（0.020）38.48（0.073）1，Xi，XiXj38.27（0.014）38.31（0.021）38.41（0.028）1，Xi，g（X）38.03（0.016）-38.59（0.066）1，Xi51.48（0.019）51.61（0.024）51.88（0.091）1，Xi，XiXj51.72（0.023）51.73（0.023）51.79（0.035）1，Xi，g（X）51.50（0.020）-51.87（0.122）表1：百慕大最大调用的界限（95%置信区间），参数SK=100，r=0.05，σ=0.2，δ=0.1，X=100和d.强化回归的不同值，因为g已经包括在内（至少t时间J- 1).5.2. 百慕大可取消掉期我们以所谓的基于复杂结构资产的可取消掉期为例来测试我们的算法。我们考虑多维Black-Scholes模型，即我们定义d资产Xl，l=1，…，的动态，d、 在风险中性测量v ia下，SDEsdXl（t）=（ρ）系统- δ） Xl（t）dt+σlXl（t）dWl（t），0≤ t型≤ T、 l=1，d、 此处W（t），Wd（t）是与时间无关的关联d维布朗运动ρlm=t-1E【Wl（t）Wm（t）】，1≤ l、 m级≤ d、 假设连续复合利率r和股息率δ为常数。定义基于资产的可取消息票掉期。让t，tJbe一系列练习日期。固定分位数α，0<α<1，数字1≤ n<n≤ d（我们假设d≥ 2） ，和三个速率s、s、s。LetN（i）={l:1≤ l≤ d、 Xl（ti）≤ (1 - α） Xl（0）}，即N（i）是时间t小于1的资产数量- 初始值的α百分比。

然后我们引入随机速率a（i）=s{N（i）≤n} +s{n<n（i）≤n} +s{n<n（i）}和s将ti试样指定为beC（i）=a（i）（ti- ti公司-1).对于这种结构化产品的定价，我们需要在[ti]期间将优惠券C（i）与无风险优惠券进行比较-1，ti]，从而考虑折扣网息票过程c（i）=e-rti（er（ti-ti公司-1)- 1.- C（i）），i=1，J然后，时间零点处的产品价值可以表示为与调整后的贴现现金流相关的非最优停止问题的解，作为聚合净息票过程获得，V=supτ∈{1，…，J}E[Zτ]，Zj：=jXi=1C（i）。对于我们的实验，我们选择了一个五年期选项，具有半年一次的锻炼可能性，也就是说，我们有j=10，ti- ti公司-1= 0.5, 1 ≤ 我≤ 10，一篮子d=20资产。具体而言，我们取以下参数值，d=20，r=0.05，δ=0，σl=0.2，Xl（0）=100，1≤ l、 m级≤ 20，d=5，d=10，α=0.05，s=0.09，s=0.03，s=0，ρlm=（ρ，l 6=m，1，l=m。对于基函数，我们使用了一个常数，贴现净息票过程ssC（i）和订单统计X（1）≤ X（2）≤ . . . ≤ X（n）。表5.2显示了通过标准线性回归方法与fixed基（表5.2的第二列）以及通过第3.3节中描述的强化回归方法与一个附加基函数（νN，j）比较下限和相应的双上限的数值实验结果。主要结论是，通过使用更少的基函数（sparsebasis），增强回归算法可以提供与标准最小二乘法相同质量的估计。

因此，新算法的计算成本更低。ρ基函数回归低估计高估计1，C，X（i）171.59（0.037）177.24（0.061）1，C，X（i），X（i）X（j）173.62（0.044）177.33（0.062）0.21，C，X（i）180.0（0.060）199.62（0.125）1，C，X（i）X（j）188.01（0.055）197.02（0.143）0.51，C，X（i）176.43（0.073）201.21（0.189）1，C，X（i），X（i）X（j）183.41（0.033）196.58（0.147）0.81，C，X（i）133.29（0.065）158.12（0.197）1，C，X（i），X（i）X（j）140.17（0.061）153.49（0.106）ρ基函数ref。回归低估计高估计1，C，X（i）173.28（0.031）177.32（0.091）1，C，X（i），X（i）X（j）174.33（0.036）176.58（0.057）0.21，C，X（i）187.57（0.057）195.09（0.121）1，C，X（i），X（i）X（j）188.07（0.046）195.95（0.108）0.51，C，X（i）181.98（0.047）194.04（0.088）1，C，X（i），X（i）X（j）183.93（0.057）194.97（0.127）0.81，C，X（i）138.41（0.087）153.08（0.106）1，C，X（i），X（i）X（j）139.62（0.035）152.57（0.096）表2：可取消掉期参考定价问题的标准线性近似回归方法和强化回归算法的比较参考文献[1]P.Glasserman，《金融引擎工程中的蒙特卡罗方法》，第53卷，斯普林格科学与商业媒体，2003年。[2] L.B.Andersen，《多因素伦敦银行同业拆借利率市场模型中百慕大掉期期权定价的简单方法》，计算金融杂志3（1999）5–32。[3] M.Broadie，P.Glasserman，《利用模拟对美式证券进行定价》，《经济动力学与控制杂志》21（8）（1997）1323–1352。[4] J.F.Carriere，《利用模拟和非参数回归对期权的早期行权价格进行估价》，《保险：数学和经济学》19（1）（1996）19–30。[5] F.Longstaff，E.Schwartz，《通过模拟评估美式期权：简单的leas t平方法》。，财务研究回顾14（1）（2 001）113–147。[6] J.Tsitiklis，B。

Van Roy，《复杂美国式期权定价的回归方法》。，IEEE Trans。神经的网12 (14) (2001 ) 694– 703.[7] D.Eglo off等人，《最佳停止和统计学习的蒙特卡罗算法》，《应用概率年鉴》15（2）（2005）1396–1432。[8] D.Belomestny，《百慕大期权的非参数回归定价：较低估计的最优收敛速度》，《金融与随机》15（4）（2011）655–683。[9] S.Becker、P.Cheridito、A.Jentzen，《深度最佳停车》，arXiv预印本XIV：1804.05394。[10] J.-Y.Audibert，O.Catoni等，《稳健线性最小二乘回归》，《统计年鉴》39（5）（2011）2766–2794。