机器学习风险模型

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Machine Learning Risk Models》
---
作者：
Zura Kakushadze and Willie Yu
---
最新提交年份：
2019
---
英文摘要：
  We give an explicit algorithm and source code for constructing risk models based on machine learning techniques. The resultant covariance matrices are not factor models. Based on empirical backtests, we compare the performance of these machine learning risk models to other constructions, including statistical risk models, risk models based on fundamental industry classifications, and also those utilizing multilevel clustering based industry classifications.
---
中文摘要：
我们给出了基于机器学习技术构建风险模型的显式算法和源代码。所得协方差矩阵不是因子模型。基于经验回溯测试，我们比较了这些机器学习风险模型与其他结构的性能，包括统计风险模型、基于基本行业分类的风险模型以及基于多级聚类的行业分类的风险模型。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Portfolio Management        项目组合管理
分类描述：Security selection and optimization, capital allocation, investment strategies and performance measurement
证券选择与优化、资本配置、投资策略与绩效评价
--
一级分类：Quantitative Finance        数量金融学
二级分类：Risk Management        风险管理
分类描述：Measurement and management of financial risks in trading, banking, insurance, corporate and other applications
衡量和管理贸易、银行、保险、企业和其他应用中的金融风险
--

---
PDF下载：
--> Machine_Learning_Risk_Models.pdf (829.49 KB)

2022-6-14 07:29:53 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：风险模型 机器学习 Quantitative Constructing Applications

机器学习风险模型Zura Kakushadze§+1 and Willie Yu]2§QuantigicrSolutions LLC1127 High Ridge Road#135，Stamford，CT 06905+第比利斯自由大学商学院和物理学院240，David Agmashenebeli Alley，第比利斯，0159，佐治亚州]杜克国立医学院计算生物学中心8 College Road，新加坡169857（2019年1月1日）摘要我们给出了基于机器学习技术构建风险模型的显式算法和源代码。结果协方差矩阵不是因子模型。基于经验回溯测试，我们比较了这些机器学习风险模型与其他结构的性能，包括统计风险模型、基于基本行业分类的风险模型以及基于多级聚类的行业分类的风险模型。Zura Kakushadze博士是QuantigicrSolutions LLC的总裁，也是第比利斯自由大学的全职教授。电子邮件：zura@quantigic.comWillie余博士是杜克国立大学医学院的研究员。电子邮件：willie。yu@dukenus.edu.sgDISCLAIMER当前位置通讯作者使用此地址的目的仅限于按照出版物惯例表明其专业职责。特别是，本文件的内容并非投资、法律、税务或任何其他此类建议，也不代表QuantigicSolutions LLC（网站www.quantigic）的观点。com或其任何附属公司。1简介与总结在大多数实际的量化交易应用中，计算回报的样本协方差矩阵时，人们面临一个老问题：回报的数量N（例如，交易宇宙中的股票数量）远远大于回报时间序列中观察到的数量T。在这种情况下，样本协方差矩阵Cij（i，j=1，…，N）非常奇异：其秩最多为T- 1.

因此，它不能被倒置，这是平均方差优化（Markowitz，1952）中所要求的。事实上，Cijis的奇异性只是问题的一小部分：它的反对角线元素（更准确地说，样本相关性）在样本外是出了名的不稳定。样本协方差矩阵的上述“弊病”通常通过多因素风险模型治愈，其中股票收益率（线性）分解为若干K个共同基础因素加上与每个股票相关的特质“噪声”的贡献。这是一种从维度上减少问题的方法，因为只需要计算因子协方差矩阵ΦAB（a，B=1，…，K），它大大小于Cijassuming K N、 在统计风险模型中，这些因素基于样本协方差矩阵Cij（或样本相关矩阵）的前K个主成分。在这种情况下，系数的数量是有限的（K≤ T- 1） 此外，第一个组分以外的主要组分在样本外固有不稳定性。相反，基于细粒度基本行业分类的因素更为普遍（数百个），也更为稳定，因为股市很少跳升行业。基于此类行业分类的异质风险模型（Kakushadze，2015c）大大优于统计风险模型。另一种选择是用与交易或金融无关的其他实际应用中也存在类似的问题来取代异质风险模型构建中的基础行业分类。关于一般性讨论，请参见，例如（Grinold和Kahn，2000）。有关显式实现（包括源代码），请参见，例如，（Kakushadze和Yu，2016a），（Kakushadze和Yu，2017a）。然而，这并不能解决所有问题。

因此，除非K<T，否则样本因子协方差矩阵仍然是奇异的（尽管取代Cijneed的模型协方差矩阵Γij不需要是奇异的）。此外，样本因子相关性中仍然存在样本外不稳定性。这可以通过构建杂种优势风险模型来规避（Kakushadze，2015c）；见下文。参见（Kakushadze和Yu，2017a），其中给出了完整的源代码和其中的参考。（经常被误解的）“收缩”方法（Ledoit和Wolf，2004）只不过是一种特殊类型的统计风险模型；详见（Kakushadze，2016），（Kakushadze和Yu，2017a）。E、 g.、BICS（彭博行业分类系统）、GICS（全球行业分类标准）、ICB（行业分类基准）、SIC（标准行业分类）等。在异质性风险模型构建中，行业分类中最大级别的样本因子协方差矩阵通常是单值的。然而，这是通过使用另一个因子模型对因子协方差矩阵进行建模来实现的，该模型中的因子基于行业分类中下一个较小的粒度级别，并且重复此降维过程，直到生成的因子协方差矩阵足够小，能够在样本外保持非奇异和高效稳定（Kakushadze，2015c），（Kakushadze和Yu，2016a）。这里还可以包括非行业风格的因素。然而，它们的数量是有限的（尤其是对于短期），并且，与一个明显的常见误解相反，风格因素通常对建模相关性来说是很低的，几乎没有价值（Kakushadze和Yu，2016a）。基于聚类（使用机器学习技术）返回时间序列数据的统计行业分类（Kakushadze和Yu，2016b），没有任何基本行业分类参考。

基于统计行业分类的风险模型优于统计风险模型，但低于基于基本行业分类的风险模型（Kakushadze和Yu，2016b）。在本文中，我们讨论了使用机器学习技术构建风险模型的不同方法。这个想法很简单。样本协方差矩阵Cijissingular（假设T N） ，但它是半正定义。假设我们可以计算出大量的Cij“抽样”，称之为C（M）ij，M=1，M、 其中，每个“抽样”都是半正定义。通过构造Γijis半正定义，考虑其平均值Γij=MMXm=1C（m）ij（1）。事实上，假设C（m）ij彼此都（相当大）不同，则Γij通常是正定义和可逆的（对于足够大的m）。因此，这个想法是合理的，至少是非常丰富的，但问题是，这些“抽样”应该是什么？请注意，样本协方差矩阵Cij（i 6=j）的每个元素仅取决于对应的两个股票收益率Ri（t）和Rj（t）的时间序列，而不取决于股票的总体，因此任何横截面“抽样”都不能基于样本协方差矩阵。原则上，如果历史悠久，可以考虑进行系列“抽样”。然而，在这里，我们假设我们的回溯是有限的，无论是由于可获得的历史较短，还是更平淡地说，由于一段时间以来的数据与随着市场条件变化预测短期风险无关。解决这个问题的一个简单方法是考虑横截面“采样”C（m）ij，它不是样本协方差矩阵，但已经降维，即使它们不必是可逆的。因此，如果将N只股票分为K类，我们可以建立一个多因素风险模型，例如，通过不完全异质结构（见下文）。

然后，不同的聚类产生不同的“抽样”C（m）ij，我们通过公式（1）对其进行平均，以获得正的定义ij，这不是因子模型。然而，像往常一样，魔鬼在于细节，我们将在第2节中讨论。E、 例如，矩阵（1）可能具有几乎退化或较小的特征值，这需要进一步调整Γij以避免，例如，对优化的不良影响。在第3节中，我们讨论了回溯测试，以比较本文的机器学习风险模型与统计风险模型，以及基于基础行业分类和统计行业分类的异质风险模型。我们简要总结了第4章。附录A提供了机器学习风险模型的R源代码，与该代码相关的一些重要法律术语被归入附录B。此类统计行业分类可以是多级和细粒度的。事实上，这里我们可以更一般地考虑加权平均值（weightedaverage）和一些正权重wm（见下文），而不是算术平均值。此外，本文中C（m）ij是非奇异的。附录A中的代码不是为了“花哨”而编写的，也不是为了速度或其他方面而优化的。2异质结构和抽样因此，我们有NStock的收益时间序列（例如，每日接近接近接近收益）Ris（i=1，…，N，s=1，…，T，s=1对应于时间序列中的最新时间）。让我们假设我们有一个由N个股票组成的聚类，其中K比N小得多，每个股票只属于一个集群。将簇标记为A=1，K、 我们有一个映射：{1，…，N}7→ {1, . . .

，K}（2）继（Kakushadze，2015c）之后，我们可以通过因子模型对样本相关矩阵ψij=Cij/σiσj（此处σi=Ciiare样本方差）进行建模：eψij=ξiδij+KXA，B=1OhmiAΦABOhmjB=ξiδij+UiUjΦG（i），G（j）（3）OhmiA=UiδG（i），A（4）ξi=1- λ（G（i））Ui（5）ΦAB=Xi∈J（A）Xj∈J（B）UiψijUj（6）这里是Ui的n组分for i∈ J（A）由N（A）×N（A）矩阵[ψ（A）]ij=ψij，i，J的第一个主成分给出∈ J（A），其中J（A）={i | G（i）=A}是与A标记的簇相对应的指数i的值集，NA=| J（A）|是此类i的数目。此外，λ（A）是矩阵[ψ（A）]ij的最大特征值（对应于第一个主分量）。矩阵OhmIa是因子载荷矩阵，ξiis是特定方差，因子协方差矩阵ΦAb具有ΦAA=λ（A）的性质。通过构造，eψii=1，矩阵ψij为正定义。然而，ΦAbi是单数的，除非K≤ T- 1、这是因为ψijis的秩（最多）T- 设V（a）ibe是ψij的主分量，对应的特征值λ（a）按递减顺序排列（a=1，…，N）。更准确地说，最多T-1特征值λ（a），a=1，T-1为非零，其他为零。我们有ΦAB=T-1Xa=1λ（a）eU（a）AeU（a）B（7）eU（a）a=Xi∈J（A）UiV（A）i（8）So，ΦABis的秩（最多）T-上述不完全杂种优势构建为基于主成分的统计风险模型构建提供了一种特殊的正则化。在完整的杂种结构中，ΦABitselfis通过另一个因子模型建模，这种嵌套的“俄罗斯玩偶”嵌入一直持续到最后一步，因子协方差矩阵（每一步都变小）是非奇异的（并且在样本外非常稳定）。2.1通过聚类进行抽样然而，还有另一种方法，我们在这里称之为“机器学习风险模型”。假设我们有M个不同的集群。

Leteψ（m）ijbe第m个聚类（m=1，…，m）的模型相关矩阵（3）。然后，我们可以将模型相关矩阵构造为加权sumeψij=MXm=1wmeψ（m）ij（9）MXm=1wm=1（10）。权重的最简单选择是具有相等的权重：wm=1/m。更一般而言，只要权重wm为正，模型相关矩阵ψij为正定义。（同样，通过构造ψii=1。）然而，组合大量“采样”eψ（M）ij可以实现其他一些功能：每个“采样”都提供了样本相关矩阵的特定正则化，并且组合这些采样比每个单独的“采样”在风险空间中覆盖更多的方向。这是因为Eeu（a）Ain公式（7）对于不同的聚类是不同的。2.2 K-means我们可以使用K-means（Forgy，1965），（Lloyd，1957），（Lloyd，1982），（Hartigan，1975），（Hartigan and Wong，1979），（MacQueen，1967），（Steinhaus，1957）进行聚类。由于k-means是不确定的，它会在每次运行时自动生成不同的“采样”。k-means背后的思想是将N个观测值划分为k个簇，这样每个观测值都属于具有最近平均值的簇。N个观测值中的每一个实际上都是一个d向量，因此我们有一个N×d矩阵Xis，i=1，N、 s=1，d、 设K簇，Ca={i | i∈ Ca}，a=1，K、 然后K-均值尝试最小化eg=KXa=1Xi∈CadXs=1（Xis- Yas）（11）其中Yas=纳西族∈CaXis（12）是簇中心（即横截面平均数），na=| Ca |是簇Ca中的元素数。在等式（11）中，选择“贴近度”的度量来表示Rd中各点之间的欧几里德距离，尽管可能有其他度量。在本文中，“横截面”指的是“超过指数i”。E、 g.，曼哈顿距离，余弦相似性等。2.3聚类什么？在这里，我们不打算重新发明轮子。

我们将简单地使用处方（Kakushadze和Yu，2016b）。基本上，我们可以对收益进行聚类，即takeXis=Ris（然后d=T）。然而，股票波动率是高度可变的，其横截面分布甚至不是准正态分布，而是高度偏斜的，在高端有一个长尾巴——这大致是对数正态分布。聚类收益没有考虑到这种偏斜，无意中，我们可能会将完全由于偏斜波动率因素而没有高度相关性的收益聚类在一起。一个简单的“机器学习”解决方案是将归一化的returnseRis=Ris/σi进行聚类，其中σi=Var（Ris）是序列方差（σi=Cii）。然而，正如（Kakushadze和Yu，2016b）中详细讨论的那样，这种选择也是次优的，这也是定量交易经验和直觉胜过通用机器学习“知识”的地方。clusterbRis=Ris/σi更为理想（详情请参见（Kakushadze and Yu，2016b））。一个潜在的实际问题是，如果一些股票的波动性很低，我们可能会对这些股票有很大的兴趣。为了避免计算中的任何潜在问题，我们可以通过排序的“Winsorization”（MAD=平均绝对偏差）：bRis=Risσiui（13）ui=σiv（14）v=exp（中位数（ln（σi））- 3 MAD（ln（σi）））（15），对于所有ui<1的情况，我们将ui设置为1。这是源代码内部使用的RIS的定义。此外，上述中值（·）和MAD（·）是横截面的。2.4调整簇数K是一个超参数。原则上，可以通过采用（Kakushadze和Yu，2016b）中讨论的方法来解决。然而，在本文的上下文中，我们将简单地将其保留为超参数，并测试其各种值的结果。随着K的增加，在某些情况下，可以在模型相关矩阵ψij中获得相对较小的特征值，或几乎退化的特征值。

这可能会导致有界优化中的收敛问题（请参见下文）。为了避免这种情况，我们可以对K值的ψij稍微变形。这里有一个简单的方法，可以同时处理上述两个问题。为了理解这种方法，可以查看图1、2、3、4中给出的特征值图，这些特征值图基于N=2000只股票和T=21个交易日的每日收益率的典型数据集。这些图绘制了单个“采样”eψ（m）ij的特征值，以及基于K=150和K=40（K是簇数）的平均m=100“采样”（权重相等）的aseψij。不出所料，这是一个可能的调整。其他的产生类似的结果。一些小的特征值。然而，它们的比例很小。此外，K值越大，这些小特征值越小，但当对多次“采样”进行平均时，这些小特征值会增加，这也会平滑特征值图结构。我们想要做的是通过调整尾部的小特征值来变形矩阵ψij。我们需要明确“尾巴”的含义，即，它包含哪些特征值。有很多方法可以做到这一点，有些更简单，有些更复杂。我们使用基于eRank或有效秩（Roy和Vetterli，2007）的方法，该方法可以更一般地定义为amatrix特征值的任何子集，就我们的目的而言，该特征值被假定为对称和半正定义。LeteRank（S）=exp（H）（16）H=-LXa=1paln（pa）（17）pa=λ（a）PLb=1λ（b）（18），其中λ（a）是子集S中的L个正特征值，H具有（香农a.k.a.谱）熵的含义（Campbell，1960），（Yang et al，2005）。如果我们将S作为eψij的N个特征值的完整集合，那么秩（S）的含义是它是矩阵ψij的有效维数的度量。然而，这不是我们在这里需要做的事情。