高斯过程和贝叶斯优化的金融应用

(2008).高斯过程和贝叶斯优化的金融应用图6：最小化问题的目标函数0.0 0.2 0.4 0.6 0.8 1.0x-5051015基于熵的获取函数在这一段中，我们介绍了基于信息差分熵理论的另外两个获取函数。给定具有连续概率函数p（x）和p（Y）以及联合概率函数p（x，Y）的随机变量x和Y，微分（或香农）熵H（x）等于：H（x）=-Zp（x）ln p（x）dx，而x的条件微分熵H（x | Y）定义为：H（x | Y）=-Z Zp（x，y）ln p（x | y）dx dy使用贝叶斯定理，我们注意到H（x | y）是随机变量y的H（x | y=y）总体可能值y的平均值的结果（Cover和Thomas，2012）。我们将f（x）的全局最大值的位置xmaxo视为一个随机变量，其后验分布为^pn（xmax）=p（xmax | x，y）。然后，我们可以使用差异性来量化这一点的不确定性。微分熵越小，不确定性越低。为了更确定全局最小值的位置，我们要选择下一个点来评估xn+1，这意味着差异熵的最大衰减。

为此，我们将熵搜索（ES）获取函数定义为^pn（xmax）的当前差异熵和后验概率分布p的预期差异熵之间的差异xmax | x，y，x？，^fn（x？）添加新samplenx？后？，^fn（x？）o： ESn（x？）=H（x最大）- Hxmax |^fn（x？）高斯过程和贝叶斯优化的金融应用图7：贝叶斯优化的迭代-10010203040n=1废除GPAcquisition功能下一个样本观测N=2-6.-4.-2024n=3 n=40.0 0.2 0.4 0.6 0.8 1.0-5051015n=50.0 0.2 0.4 0.6 0.8 1.0n=6高斯过程和贝叶斯优化的金融应用下一点是最大化问题的解决方案：xn+1=arg maxx？∈XESn（x？）虽然Henning和Schuler（2012）提出了一种近似上述方程的方法，但Frazier（2018）指出了一些实际困难：o^pn（xmax）并不总是有一个封闭形式的表达式；o我们需要计算大量X？样本的微分熵？，^fn（x？）oto评估第二学期的期望Hxmax |^fn（x？）.这就是为什么Hern'andez Lobato等人（2014）提出了一种称为预测熵搜索（PES）的替代方法：PESn（x？）=H^fn（x？）- H^fn（x？）|X最大值利用互信息的对称性，我们可以证明PESn（x？）和ESn（x？）是等效的采集功能。在PES acquisitionfunction的情况下，我们可以计算H的闭式表达式^fn（x？）和Hern\'andez Lobato等人。（2014）使用期望传播法（Minka，2001）得出H的近似值^fn（x？）|X最大值. 因此，我们可以通过模拟方法找到PES采集功能的最大值。基于知识梯度的获取函数知识梯度（KG）获取函数接近预期的改进。

在Scott等人（2011）将其扩展到高斯过程之前，Frazieret等人（2009）首次将其引入有限离散决策空间。KG和EI采集函数之间的主要区别在于KG考虑了噪声，并没有将最终解限制在之前评估的点上，这意味着它可以返回域中的任何点，而不仅仅是一个观察点。假设我们观察到样本{（xi，yi）}ni=1。如前所述，我们计算后概率分布：^fn（x？）~ N^mn（x？），^Kn（x？，x？）根据风险中性假设（Berger，2013），我们根据随机结果的预期值^mn（x？）对其进行估值。为了最大化目标函数，我们可以尝试最大化^mn（x？）我们注意到^mn（κ？n）=maxκ^mn（κ）。如果我们考虑一个补充点，我们还可以得到：ESn（x？）=我xmax，^fn（x？）= 我^fn（x？），X最大值= PESn（x？）其中，I（X，Y）是两个连续随机变量的互信息：I（X，Y）=Z Zp（X，Y）lnp（X，Y）p（X）p（Y）dx dy=H（X）- H（X，Y）高斯过程和贝叶斯优化的金融应用计算条件期望值为^mn+1（X？）的f的新后验分布。然后，他们的想法是选择一个新的点，使从该点采样获得的条件期望增量最大化。

例如，我们可以最大化差异的期望值，这被称为知识梯度：KGn（x？）=E[^mn+1（x？）- ^mn（κ？n）]我们有：xn+1=arg maxx？∈XKGn（x？）然后，可以使用Frazier（2018）制定的算法2通过模拟获得解决方案。算法2基于仿真的KGn（x？）计算x？输入参数是模拟次数吗？对于s=1:nsdoGenerate y，我们注意到^mn（κ？n）=maxκ^mn（κ）？（s）~ N^mn（x？），^Kn（x？，x？）将模拟点（x？，y？（s））添加到当前样本（x，y）计算^mn+1κ（s）= 最大κ∈X^mn+1（κ），其中^mn+1（κ）是取决于（X？，y？（s））的后验平均值（s）←- ^mn+1κ（s）- ^mn（κ？n）返回端KGn（x？）← n-1sPnss=1（s） 备注7。在无噪声的情况下，如果最终解决方案仅限于之前的采样，KG采集功能将减少为EI采集功能：^mn+1（x？）- ^mn（κ？）=最大值fn（κ？n），^fn（x？）- fn（κ？n）=^fn（x？）- fn（κ？n）+3金融应用在本节中，我们使用高斯过程来建模和预测收益率曲线，并使用贝叶斯优化来构建在线趋势跟踪策略。3.1收益率曲线建模为了说明GP方法在融资中的潜力，我们首先考虑美国收益率曲线的拟合。最常用的模型之一是Nelson-Siegel参数模型，据报道，该模型存在参数估计及其随时间变化较大的问题（Annaert等人，2013）。

GP可以被认为是一种贝叶斯非参数替代方法。我们在图8和图9中显示了对应于两个不同日期并呈现不同形状的收益率曲线的拟合。协方差核为KSE·KEXP+KRQ，其中指数核KEXP等于：KEXPx、 x个= σexp-kx公司- xk2`高斯过程和贝叶斯优化的财务应用图8：收益率曲线的GP拟合（2007年6月）1 3 6 12 36 60 84 120 240 360到期日（月）4.74.84.95.05.15.25.3gp即期利率图9：收益率曲线的GP拟合（2012年6月）1 3 6 12 24 36 60 84 120 360到期日（月）0.00.51.01.52.02.5GPSpot利率高斯过程和贝叶斯优化的财务应用优化我们现在尝试基于GP的方法来预测美国收益率曲线的走势。这是一个可以用作股票和债券收益预测信号的宏观经济类因素（Rebonto，2015；Cochrane et al.（2005）），因此在定量资产管理中具有实际意义。高斯过程时间序列预测中存在几种方法。本文主要研究GP-ARX模型，它是ARX模型在GP框架中的一种应用。ARX模型假设时间序列Yt与其先前值加上一些外部因素之间存在非线性关系XT:Yt=f（Yt-1，Yt-2.Xt公司-1，Xt-2, . . . ) + εt此处εt~ N0, σε是一个白噪声过程。GP-ARX的主要思想是对函数f使用高斯过程代理~ GP（0，K）。一旦选择了核K，训练集就只包含对xt和Yt的观察。超参数的推断采用前一节中解释的最大似然法进行。Chandorkar等人（2017年）使用该模型预测天气数据，并注意到“持续性预测”在模型构建中的重要性。

持久性预测是将当前值作为明天的预测：^Yt+1=Yt。然后，持久性模型假设该过程是一个随机行走。对于表现出记忆效应的时间序列，如果我们使用通常的精度度量，如均方误差，这种微不足道的预测会产生非常好的结果。时间序列中度量记忆的一种方法是计算赫斯特指数，它度量长期自相关。赫斯特指数H>表示正长期自相关，而H<表示相反。赫斯特指数与时间序列的分形维数相关，可以作为时间序列可预测性的指标（Kroha和71skoula，2018）。表1：美国即期利率赫斯特指数1M 3M 6M 1Y 2Y 5Y 10Y 20Y 30Y赫斯特0.40 0.50 0.61 0.62 0.57 0.51 0.49 0.48 0.50我们的数据集包括以下期限的每日零息票收益率：1、3和6个月、1、2、5、10、20和30年。表1显示了不同到期日即期利率的赫斯特指数。在图10和图11中，我们报告了2016年的一天滚动预测和95%置信区间。我们还预测了2年期和10年期即期汇率，即GP-ARX模型中每个到期日的滞后时间为1，外生变量为3个月期即期汇率及其第一个滞后时间。如表2所示，两种即期汇率都表现出持续性。我们注意到这三种方法在这个simplisticexample中是等价的。然而，GP-ARX方法能够估计置信区间，并且该指标可以用作交易信号。表2：均方根误差（单位%）即期利率持续性ARX GP-ARX2Y 3.33 3.33 3.3210Y 4.40 4.53 4.45备注8。核函数和特征的选择是原始的。当内核是线性的时，ARX模型实际上相当于GP-ARX模型。

在我们的GPARX模型中，我们使用了指数核和线性核之和，并且只使用了简单的时间序列。布朗运动的赫斯特指数为exactlyand且无记忆。高斯过程和贝叶斯优化的财务应用图10：预测2年期即期汇率0 50 100 150 200 250个交易日0.60.81.01.21.4Yt+1GP ARX图11：预测10年期即期汇率0 50 100 150 200 250个交易日1.41.61.82.02.22.42.6Yt+1GP ARX高斯过程和贝叶斯优化特征的财务应用。由于能够通过选择核来捕获不同长度的尺度和模式，GP方法可以通过找到合适的核组合，作为良好的内插器用于广泛的金融应用。在GP回归中使用Student-t分布代替高斯分布越来越有兴趣（Shah等人，2014）。更具体地说，Chen等人（2014）介绍了多元高斯和Student-t过程回归的框架，并将其用于股票和股票指数预测。收益率曲线预测问题本质上是多变量的。我们正试图预测不同到期日的利率向量，这是高度相关和依赖的。Student-t多元过程回归没有单独处理每个输出，而是使用一个数据集，该数据集由完整的产量曲线观测同时作为输入和输出组成，同时考虑输出相关性。见第38页附录A.7，多变量和矩阵变量Student-t分布的定义和一些有用特性。具体而言，对于高斯情况，后验分布仍然是矩阵变量Student-t分布，这使得推理步骤和最大边际似然的计算变得容易处理。这激发了对学生t过程（TP）的定义。

当且仅当任意数量的随机向量具有联合多元Student-t分布时，它们的集合就是TP。我们测试了TPARX代替GP-ARX。不幸的是，我们没有找到更好的预测值。这一结果令人失望，因为我们可能认为收益率曲线建模中的一个问题是即期汇率的横截面相关性以及我们在固定收益资产中观察到的可能的厚尾。3.2投资组合优化我们现在考虑将贝叶斯优化应用于量化资产管理背景下的投资组合优化。我们首先描述了资产配置问题，这是一种趋势跟踪策略，然后我们展示了如何解决它，最后我们使用带平方指数核的贝叶斯优化来寻找趋势跟踪策略的最优超参数。3.2.1趋势跟踪策略我们考虑一个由n项资产组成的宇宙，我们观察每日价格，并寻找非最优投资组合，即分配向量x∈ 平衡风险和回报的RN。如果我们可以预测预期回报的向量u并计算资产回报的协方差矩阵∑，那么正则化的马科维茨优化问题（Roncalli，2013；Bourgeronet al.，2018）如下所示：x？（γ） =arg minxx>∑x- γu>x+λkx- xk其中γ是风险规避系数的倒数，λ是岭正则化参数，xis是参考投资组合。我们考虑趋势跟踪策略的一个简单版本：o使用移动平均估值器计算预期收益。让Pi，tbe为资产i的每日价格。

我们有：ui，t=Pi，tPi，t-`(u)- 1TPs特别设计为同时考虑横截面和时间序列相关性，其中SGP只能考虑一个方向（横截面或时间序列）的动力学，而不能同时考虑两者（见Chen等人（2018）中的方程式（7）和（15））。高斯过程和贝叶斯优化的金融应用，其中`（u）是MA估计器的窗口长度。o协方差矩阵使用经验估计器估计，窗口长度用`（∑）表示投资组合在固定日期t重新平衡，例如每月或每周。设xt为再平衡日t的最优投资组合。分配问题由：xt（λ）=arg minx给出-u>tx+λkx- xt公司-1k（6）s.t.σt（x）≤ \'σ，其中u是时间t时预期收益的估计向量，σt（x）=px>σtx是时间t时估计的投资组合波动率，\'σ是趋势跟踪策略的目标波动率。为了解决这个凸问题，我们使用附录A.8第40页中给出的ADMM算法（Boyd等人，2011）。继Bourgeron et al.（2018）和Richard and Roncalli（2019）之后，很自然地将前面的问题写成如下：xt=arg minx-u>tx+λkx- xt公司-1k+1Ohm（z） s.t.x公司- z=0，其中Ohm =新西兰∈ 注册护士：z> ∑tz≤ (R)σo。但是，我们通过引入Cholesky技巧改进了ADMM算法：xt=arg minx-u>tx+λkx- xt公司-1k+1Ohm（z） s.t。-Ltx+z=0，其中Ohm =新西兰∈ Rn:kzk≤ “∑OA和LTI是∑t的上Cholesky分解矩阵。因此，z=Ltx和：kzk=z>z=x>L>tLtx=x>∑tx=σt（x）。事实上，我们的经验表明，Cholesky技巧有助于加速ADMM算法相对于Bourgeron et al.（2018）和Richard and Roncalli（2019）公式的收敛。

最后，ADMM算法变为：x（k+1）=arg min-u>tx+λkx- xt公司-1k+Д-Ltx+z（k）+u（k）z（k+1）=arg最小值1Ohm（z） +^1-Ltx（k+1）+z+u（k）u（k+1）=u（k）- Ltx（k+1）+z（k+1）我们注意到，z步对应于向量Ltx（k+1）的中心0和半径'σ的欧氏球上的简单投影-u（k），近端算子的计算是向前延伸的。x步对应于一个线性系统。如果我们将f（k）（x）定义如下：f（k）（x）=-u>tx+λkx- xt公司-1k+Д-Ltx+z（k）+u（k）高斯过程和贝叶斯优化的金融应用我们推断：f（k）（x）=-ut+λx- λxt-1+ДL>tLtx- ^1L>tz（k）+u（k）= -ut+λx- λxt-1+Д∑tx- ^1L>tz（k）+u（k）最后，我们得到以下解：x（k+1）=（Д∑t+λIn）-1.ut+λxt-1+ДL>tz（k）+u（k）3.2.2趋势跟踪策略的超参数估计趋势跟踪策略取决于三个超参数：1。控制两个再平衡日期之间营业额的参数λ；2、控制趋势估计的窗口长度`（u）；3、衡量资产风险的水平时间`（∑）。传统上，趋势跟踪策略是通过考虑这些超参数是固定的来实现的。通过构建，他们的选择对策略设计有很大的影响。例如，较小的`（u）值将捕捉短期动量，而较大的`（u）值将寻找更持久的趋势。这个超参数是区分短期和长期CTA的关键。事实上，等式（6）并未给出正确的资产配置问题，但定义如下：xt（λt，`t（u），`t（∑））=arg minx-u>tx+λtkx- xt公司-1k（7）s.t.σt（x）≤ “∑这意味着超参数不是固定的，必须在每个再平衡日期进行估计。在之前的框架中，如果λ、`（u）和`（∑）是常数，则估计包括查找XT。