高斯过程和贝叶斯优化的金融应用

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Financial Applications of Gaussian Processes and Bayesian Optimization》
---
作者：
Joan Gonzalvez, Edmond Lezmi, Thierry Roncalli, Jiali Xu
---
最新提交年份：
2019
---
英文摘要：
  In the last five years, the financial industry has been impacted by the emergence of digitalization and machine learning. In this article, we explore two methods that have undergone rapid development in recent years: Gaussian processes and Bayesian optimization. Gaussian processes can be seen as a generalization of Gaussian random vectors and are associated with the development of kernel methods. Bayesian optimization is an approach for performing derivative-free global optimization in a small dimension, and uses Gaussian processes to locate the global maximum of a black-box function. The first part of the article reviews these two tools and shows how they are connected. In particular, we focus on the Gaussian process regression, which is the core of Bayesian machine learning, and the issue of hyperparameter selection. The second part is dedicated to two financial applications. We first consider the modeling of the term structure of interest rates. More precisely, we test the fitting method and compare the GP prediction and the random walk model. The second application is the construction of trend-following strategies, in particular the online estimation of trend and covariance windows.
---
中文摘要：
在过去五年中，金融业受到了数字化和机器学习的影响。在本文中，我们探讨了近年来快速发展的两种方法：高斯过程和贝叶斯优化。高斯过程可以看作是高斯随机向量的推广，与核方法的发展有关。贝叶斯优化是一种在小维度上执行无导数全局优化的方法，它使用高斯过程来定位黑箱函数的全局最大值。文章的第一部分回顾了这两个工具，并展示了它们是如何联系在一起的。特别是，我们重点研究了高斯过程回归，这是贝叶斯机器学习的核心，以及超参数选择问题。第二部分介绍两个金融应用程序。我们首先考虑利率期限结构的建模。更准确地说，我们测试了拟合方法，并比较了GP预测和随机游走模型。第二个应用是构建趋势跟踪策略，特别是在线估计趋势和协方差窗口。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Portfolio Management        项目组合管理
分类描述：Security selection and optimization, capital allocation, investment strategies and performance measurement
证券选择与优化、资本配置、投资策略与绩效评价
--
一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--

---
PDF下载：
--> Financial_Applications_of_Gaussian_Processes_and_Bayesian_Optimization.pdf (1.25 MB)

2022-6-14 07:01:17 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：金融应用 高斯过程 贝叶斯 Optimization Applications

高斯过程和贝叶斯优化的金融应用*Joan GonzalvezQuantitative ResearchAmundi资产管理公司，巴黎。gonzalvez@amundi.comEdmondLezmiQuantitative ResearchAmundi资产管理公司，Parisedmond。lezmi@amundi.comThierryRoncalliQuantitative ResearchAmundi资产管理，巴黎。roncalli@amundi.comJialiXuQuantitative ResearchAmundi资产管理公司，巴黎佳利。xu@amundi.comFebruary2019年摘要过去五年，金融业受到数字化和机器学习的影响。在本文中，我们探讨了近年来发展迅速的两种方法：高斯过程和贝叶斯优化。高斯过程可以看作是高斯随机向量的推广，与核方法的发展有关。贝叶斯优化是一种在小维度上执行无导数全局优化的方法，它使用高斯过程来定位黑盒函数的全局最大值。文章的第一部分回顾了这两种工具，并展示了它们之间的联系。特别是，我们重点关注高斯过程回归，这是贝叶斯机器学习的核心，以及超参数选择问题。第二部分专门讨论两个金融应用。我们首先考虑利率期限结构的建模。更准确地说，我们测试了拟合方法，并比较了GP预测和随机游走模型。

第二个应用是趋势跟踪策略的构建，尤其是趋势和协方差窗口的在线估计。关键词：高斯过程、贝叶斯优化、机器学习、核函数、超参数选择、正则化、时间序列预测、资产配置、组合优化、趋势跟踪策略、移动平均估值器、ADMM、Cholesky技巧。JEL分类：C61、C63、G11。*我们要感谢Elisa Baku和Thibault Bourgeron的有益评论。高斯过程和贝叶斯优化的金融应用1简介本文探讨了高斯过程和贝叶斯优化在金融中的应用。这两种工具在机器学习社区中取得了成功。近年来，机器学习算法被应用于风险管理、资产管理、期权交易和做市。尽管对早期的实施持怀疑态度，但我们今天必须认识到，机器学习正在改变金融世界。银行、资产管理公司、对冲基金和机器人顾问在这些技术上投入了大量资金，所有报告都认为这只是一个开始（麦肯锡，2015；经合组织，2017；奥利弗·维曼，2018）。甚至监管机构也在密切关注这一发展及其对金融业的影响（FSB，2017）。当然，最令人印象深刻的指标是金融就业市场的演变（BCG，2018）。如今，quant-FinancineMist的申请人拥有机器学习证书，或者至少拥有该技术的知识和Python编程语言的经验。在我们之前的两项工作中，我们重点关注资产配置和投资组合构建。在Bourgeron et al.（2018）中，我们讨论了如何为机器人顾问设计一个全面的自动化投资组合优化模型。

在Richard和Roncalli（2019）中，当我们考虑风险预算投资组合而不是均值-方差投资组合时，我们扩展了这种方法。第三篇论文继续介绍机器学习技术的“地平线之旅”，这些技术对资产管理挑战非常有用。然而，自从我们远离投资组合优化以来，我们正在显著改变方向，我们对估计和预测问题感兴趣。高斯过程是高斯随机向量的推广，可以看作是一般连续函数上的随机过程。这是因为它用核函数代替了传统的协方差矩阵，并且得益于核方法的强大功能。这种方法的核心是计算条件分布。在aBayesian框架中，这相当于从先验分布计算后验分布。由于线性回归是随机变量为高斯时条件期望问题的解决方案，因此可以直接定义高斯过程回归，这是一种强大的半参数机器学习模型（Rasmussenand Williams，2006），已成功用于地质统计学（Cressie，1993），多任务学习（Alvarez et al.，2012）或机器人学和强化学习（Deisenroth et al.，2015）。贝叶斯优化是一种用于解决黑盒优化问题的方法（Bochu et al.，2009；Frazier，2018），其中目标函数不明确且评估成本高昂。如果无法获得目标函数的梯度向量，通常的拟牛顿法或梯度下降法是不可用的。贝叶斯优化将未知函数建模为随机高斯过程的替代物，并用一系列更简单的优化问题来代替难以解决的原始问题。

在这种情况下，GPs似乎是贝叶斯优化的一种工具。通常，财务模型取决于运行模型之前必须确定的一些外部参数。贝叶斯优化主要关注这些外部参数的估计，这些外部参数被称为超参数。例如，移动平均估值器的长度、投资者的风险规避或资产回报协方差矩阵的窗口。本文的组织结构如下。第二节回顾了高斯过程和贝叶斯优化的数学。特别地，我们介绍了高斯过程回归技术，并讨论了超参数选择问题。在第三节中，我们使用高斯过程来拟合利率的期限结构，并展示如何将其用于预测收益率曲线。第三部分的第二个应用涉及趋势跟踪策略超参数的在线估计。最后，第四节给出了一些结论。高斯过程和贝叶斯优化的金融应用2高斯过程和贝叶斯优化入门在本节中，我们定义了高斯过程机器学习中使用的主要概念和技术。在回归和分类问题中，它们用于插值、外推和模式发现，而核函数的选择是其核心。与许多监督学习算法相反，GPs具有估计预测方差或测试样本置信域的独特特性。

此功能有助于全局优化，并有助于改进目标函数，因为可以根据模型的可信度评估评估样本。贝叶斯优化是一种用于解决黑盒优化问题的统计方法，在黑盒优化问题中，目标函数不明确或评估成本不高。由于目标函数的梯度难以评估或未知，因此下降法无法使用。在这种情况下，贝叶斯优化将未知目标函数替换为随机高斯过程，将棘手的原始问题替换为一系列简单优化问题。这解释了为什么高斯过程和贝叶斯优化密切相关。2.1高斯过程2.1.1定义集X是Rd中的一个集合。高斯过程是{f（X），X∈ 十} 这样对anyn来说∈ N和x，xn公司∈ 十、 随机向量（f（X），f（xn））具有联合多变量高斯分布（Rasmussen和Williams，2006）。因此，我们可以通过其平均函数m（x）=E[f（x）]和协方差函数K（x，x）=cov（f（x），f（x））=E[（f（x））来表征GP- m（x））（f（x）- 协方差函数K（x，x）是高斯过程分析的核心，被称为“核”函数。在机器学习中，最常用的核函数是平方指数核，它由：KSE（x，x）=exp-kx公司- xk公司（1） 对于x∈ Rd和x∈ 第三条备注1。在下面的内容中，我们假设m（x）=0而不丧失一般性。2.1.2高斯过程回归给定一个训练集{（xi，yi）}ni=1个特征，高斯过程回归（GPR）的目标是预测f（x？）对于一些新输入x？∈ 注册护士？对于这一点，我们采用贝叶斯框架，并在x=（x，…）的条件下计算GP的后验分布。

，xn）∈ Rn×d。输入集X可以是多维（线性回归建模）、时间维（时间序列预测）等。它也被称为径向基函数（RBF）核或高斯核。高斯过程和贝叶斯优化的金融应用无噪声情况下，我们首先假设观测值无噪声，即y=f（x）=（f（x），f（xn）），其中f是GP。让x？是n吗？新输入和^y？=E[f（x？| x，y）]是条件预测。那么我们有：f（x，x？）~ Nn+n？，K（x，x）K（x，x？）K（x？，x）K（x？，x？）（2） 其中K（x？，x）是n？×n矩阵x，条目Ki，j（x？，x）=K（x？i，xj）。使用附录A。2在第34页，随机向量y？|x、 y=f（x？| x，y）也是高斯的：f（x？| x，y）~ N（m（x？| x，y），K（x？，x？| x，y）），其中m（x？| x，y）是后验分布的平均向量：m（x？| x，y）=K（x？，x）K（x，x）-1并且协方差矩阵K（x？，x？；x，y）是先验的舒尔补：K（x？，x？；x，y）=K（x？，x？）- K（x？，x）K（x，x）-1K（x，x？）我们推断预测是条件期望：^y？=m（x？| x，y）我们注意到，计算后验分布需要我们反转n×n矩阵k（x，x）。因为它是一个协方差矩阵，所以它是一个对称的正半有限矩阵，并且可以应用Cholesky分解来n操作。备注2。为了降低表示法的复杂性，我们引入了用于编写条件量的hat表示法。我们有^f（x？）=f（x？| x，y），^m（x？）=m（x？| x，y）和^K（x？，x？）=K（x？，x？；x，y）。高斯噪声为了考虑数据中的噪声，我们假设y=f（x）+ε，其中ε~ Nn、 σε英寸.

在这种情况下，等式（2）变成：f（x，x？）~ Nn+n？，K（x，x）+σε墨水（x，x？）K（x？，x）K（x？，x？）（3） 同样，后验分布是高斯分布，我们有：^f（x？）~ N^m（x？），^K（x？，x？）式中：^m（x？）=K（x？，x）K（x，x）+σεIn-1yand：^K（x？，x？）=K（x？，x？）- K（x？，x）K（x，x）+σεIn-1K（x，x？）我们不能混淆核函数K（x，x），其中x∈ Rd和x∈ 返回标量和内核矩阵K（x？，x），其中x∈ Rn×dand x？∈ 注册护士？×D返回n？×n矩阵。我们重申m（x）=0和m（x？）=0n？。高斯过程和贝叶斯优化的金融应用大型数据集的可扩展性问题，反转核矩阵K（x，x）会导致n复杂性和可能令人望而却步。因此，有人提出了几种方法来适应这种问题的原始探地雷达（Qui▄nonero Candela和Rasmussen，2015；Qui▄noneroCandela等人，2007）。例如，回归子集（SoR）算法使用矩阵K（x，x）的低Rankaproximation。如果我们从训练集x中选择m<n个样本xm，则K（x，x）的近似值为：K（x，x）≈ K（x，xm）K（xm，xm）-1K（xm，x）在第34页附录A.3中，我们表明：^m（x？）≈ K（x？，xm）~K（xm，xm）-1K（xm，x）yand:^K（x？，x？）≈ σεK（x？，xm）~K（xm，xm）-1K（xm，x？）其中：▄K（xm，xm）=K（xm，x）K（x，xm）+σεK（xm，xm）高斯过程回归可以通过反转m×m矩阵▄K（xm，xm）而不是n×n矩阵K（x，x）+σεIn来完成。备注3。其他降低探地雷达计算成本的方法包括Tresp（2000）引入的贝叶斯委员会机器（BCM）。其基本思想是在数据子集上训练几个美国进程（或其他核心机器），并根据其预测可信度将其混合。

这种集成方法对于大规模问题特别有用，并且设计用于并行计算（Deisenroth和Ng，2015；Liu等人，2018）。2.1.3协方差函数高斯过程可视为函数的概率分布。因此，GP的卵巢功能决定了功能f（x）的属性。例如，K（x，x）=min（x，x）是布朗运动的协方差函数，因此来自具有此核函数的GP的样本将无可区分。通过选择合适的核函数，可以控制样本的正则性、周期性和单调性。此外，对内核的操作允许我们提取数据中更复杂的模式和结构（Duvenaud等人，2013）。核可以求和、相乘和卷积，从而产生另一个有效的协方差函数（Bishop，2006）。接下来，我们将介绍最常用的协方差核及其性质。通常的协方差核一个简单的协方差函数是线性核，它由以下公式给出：KLinear（x，x）=x>xGP使用线性核的回归等价于贝叶斯线性回归，并将其自身乘以几次，得到贝叶斯多项式回归。最常用的协方差函数之一是上面提到的SE核，它可以用以下方式推广：KSE（x，x）=σexp-（十）- x） >∑（x- x）xmare称为“诱导点”。高斯过程和贝叶斯优化的金融应用，其中∑是参数化输入长度尺度的d×d矩阵。取∑=诊断`, . . . , `d允许我们分别缩放输入的每个维度。设置“j=0”将消除输入的jthdimension，这在构造复杂内核时非常有用。

该内核有时被称为自动相关性确定（ARD）内核，因为它可以用于在优化超参数（`，…，`d）时发现输入的相关维度。具有此协方差核的样本函数有很多导数。将具有不同长度尺度的SE核相加得到有理二次（RQ）核。让我们考虑由形状α和速率β参数化的伽马分布，其密度函数等于：gα，β（x）=βαΓ（α）xα-1e级-βxIf我们考虑长度平方反比τ上的贝叶斯先验，使用此Gammadistribution，我们得到：KSE（x，x |τ）=σe-τrw其中r=kx- xk。那么，我们有：KRQ（x，x）=Z+∞KSE（x，x |τ）gα，β（τ）dτ=σβαΓ（α）Z+∞τα-1e级-（β+r）τdτ=σβα（α）”-β+r-αΓα,β+rτ#∞∝β+rα∝1+kx- xk2α`！-α，其中Γ（α，x）=R+∞xxα-1e级-xdx是上不完全gamma函数，对于给定的函数，β=`α\'。我们推断RQ核是各向同性的，因为它只依赖于欧几里德范数r=kx- xk。另一类流行的谷物是Mat'ern家族，由：KMatern（x，x）=1给出-νΓ (ν)√2νkx- xk `！νKν√2νkx- xk`！其中，ν和`是两个正参数，Kν是第二类修正贝塞尔函数。归一化常数为limν→∞KMatern（x，x）=KSE（x，x）。这个内核看起来很复杂，但很有吸引力，因为当ν是半整数时，它的表达式可以很简单（Rasmussen和Williams，2006）。例如，我们有：kmater32（x，x）=KMaternx、 x；=1 +√3r `！经验值-√3r `！高斯过程和贝叶斯优化的金融应用和：KMatern52（x，x）=KMaternx、 x；=1 +√5r`+5r3`！经验值-√5r `！图1显示了具有不同方差函数的一维高斯过程的四条样本路径。