用机器方法降低均值-方差组合的估计风险

如果基于一个简单、不完善的算法估计^fq，则预测将有偏差，因为真实函数值f（x）可能与重复训练集中的预期预测相差很远，ET[^fq（x）]。然而，过于简单的ic模型会在重复绘制数据时给出类似的预测，因此方差可能很低。相比之下，灵活、过拟合的算法可能会导致低偏差，但方差可能很大，因为我们可以预期重复数据绘制中的预测会发生很大变化。同时具有低偏差和低方差（避免过度拟合和不足拟合）会转化为低预期普遍化误差。在下文中，我证明了这一一般框架及其直觉可用于均值-方差投资组合分析中的风险估计问题。2.2概化误差和估计风险我考虑了一个框架，其中投资者对一些随机投资组合回报率r具有可用性函数U（r）所描述的偏好。正如投资组合理论中常见的那样，我将注意力限制在效用函数完全由回报的前两个时刻表征的情况。我假设代理具有由二次效用函数u（r）=r描述的均值-方差偏好-αr（5），其中α>0是风险规避系数，r是投资组合回报。有必要使用二次效用来表示与ML的等价性，但如下所示，风险资产中衍生的相对投资组合权重与权重完全对应。大量文献表明，均值-方差偏好不一定与预期效用框架一致，参见。

Levy和Markowitz（19 79）。从更常见的指数效用函数中获得。政府可以投资θf∈ R在具有给定回报率的无风险资产中，Rf和investθ∈ Rmin m风险资产，其回报率超过vectorx给出的无风险资产。我假设x是多变量正态分布，期望超额收益u和协方差矩阵∑。使用无风险和风险集合中的资产头寸必须和为1的约束，θf+1′θ=1，其中1是1的向量，代理的预期二次效用由ex[u（rf+x′θ）]（6）给出。以下命题表明，预期二次效用（6）可以写成形式（2）的代理化误差，这意味着最大化预期二次效用等同于最小化推广误差。提案1。概括错误。四次效用函数的最大化期望效用等价于最小化广义误差f（θ）=Ex[（\'r- x′θ）]（7），其中r=（1- αrf）/α。命题1有两个含义。首先，它可用于推导光学组合图。如果已知超额收益的分布，x~ N（u，∑），然后相对于θ最小化（7），得到最优（总体）投资组合权重θ*= (Σ + uu′)-1u(R)r（8）和相应的最小概化误差F*= F（θ*). 其次，该命题提供了ML目标与投资组合问题之间的联系。假设代理不知道收益分布，但他使用ML算法q t根据经验数据估计最优投资组合权重。设结果变量为常数y=’r，f为线性函数x′θ。

因此，选择θ以最大化预期二次效用的组合问题可被视为估计θ以最小化预期一般估计误差的最大似然问题，类似于（3）Fq=ET{Ex[（\'r- x′θq）]}（9），其中，期望值ETis与用于获得估计值θq的训练数据有关，Exis与样本输出返回x有关~ N（u，∑）。可能需要看看在实践中如何最大限度地减少FQ，因为除了抽取大量的培训数据外，它还包括样本外回报的分布。然而，FQ可以通过交叉验证来近似，参见Friedman、Hastie和Tibshirani（2011）。此外，fq可以写为最小概化误差f的和*估计风险分量RqFq=F*+ Rq（10）根据这一定义，任何最小化预期广义化误差fq的ML算法都等效地最小化估计风险Rq，因为F*是一个不可约总体值。理论上，如果某个算法q真的最小化了预期广义化误差，那么Fq=F*, 它还最大化了预期的二次效用。命题2更详细地研究了Rqin。提案2。估计风险。ML算法q的估计风险RQO是预期广义误差Fq和最小广义满足误差F之间的差值*, givingRq=（θ*- ET[θq]）A（θ*- ET[θq]，{z}平方偏差+trAVT[^θq]|{z}方差（11），其中A=∑+u′，tr（.）表示跟踪运算符。命题2强调了任何ML策略q的估计风险都可以分解为偏差方差。因此，ML的直觉对投资组合问题产生了影响。与最佳权重相比，由于相对较低的敞口，只有少数资产获得非零权重的“未配置投资组合”的样本方差相对较低。

然而，偏差可能是实质性的，因为出租一些零权重资产可能会放弃最佳港口组合中存在的投资机会。相反，由大量资产组成的“过度配置的投资组合”可能会产生较低的偏差，但由于需要从数据中估计大量参数，回报重复样本的方差可能较高。因此，最小化偏差和方差的平方和是获得低水平估计风险的工具。估计风险为非负，Rq≥ 只要A是正半定义，rq=0表示^θq=θ*. 直觉上，由于最优投资组合权重θ*获得最小广义误差F*, 与最优投资组合权重不同的任何估值器^θqdi将提供更高的预期广义误差fq，从而带来正的估计风险。本节中的结果如图2所示，其中最佳portfolioweightsθ*位于A点，平均u*= u′θ*和标准偏差σ*=√θ*′Σθ*. 穿过点A的曲线显示了平均值和标准偏差的组合，从而实现了最小的概化误差F*, 因此|σF*u*σ*u*pσ*p'r√F*AAA\'A\'图2：最佳投资组合。代理人的目标是最大限度地减少泛化误差，以获得尽可能接近理想回报率的投资组合回报，理想回报率可解释为一定的最大回报水平。最小化概化误差（最大化经验四次效用）得到最优投资组合权重θ*位于t a，具有相应的平均值u*= u′θ*, 标准偏差σ*= (θ*′Σθ*)1/2和最小概化误差F*. 该解决方案给出了从r到A的最小距离，其长度为√F*F在哪里*= （(R)r- u*)+ (σ*).

最优相对权重投资组合（相切投资组合）位于A′，投资组合平均值为u*p=u′ω*和标准偏差σ*p=（ω*′Σω*)1/2，与前面的有效投资组合相切。最佳权重atA与A′处的相切投资组合具有相同的夏普比，这由穿过原点的直线的斜率表示。最大预期效用。在A点的最优投资组合权重处，最小概化误差由F给出*= Ex[（(R)r）- x′θ*)] = （(R)r- u*)+ (σ*). 因此，根据Pythagoren定理，垂直轴上连接r与点A的线段长度由最小广义误差的平方根给出。换句话说，最优投资组合权重最小化了从某个最大可获得回报r到A点的距离。A\'处的港口投资组合是使用m风险集ω中的最优相对权重计算的*=θ*′θ*=Σ-1u′Σ-1u（12），这是相切组合的众所周知的表达式，具有相应的portfoliomeanu*p=u′ω*和标准偏差σ*p=√ω*′Σω. 根据投资组合理论，相切投资组合ω*最大化夏普比u*p/σ*p、 这是从原点到A′的直线斜率，与有效边界相切。事实上，这个观察也告诉我们θ*具有相同的最优夏普比。Tangency方程（12）是基于二次效用推导出来的，但对于指数效用的情况，结果完全相同，参见DeMiguel、Garlappi和Uppal（2007）。然而，在命题1中，有必要使用二次效用来建立效用与推广误差之间的联系。投资组合ω*. 的确，u*pσ*p=u′ω*(ω*′Σω*)1/2=u′θ*c（cθ*′Σθ*)1/2=u*σ*（13） 式中，c=1/1′θ*. 因此，A和A′通过or igin位于同一条线上。

总之，使推广误差最小化的最优投资组合权重与相切投资组合具有相同的夏普比率。这具有重要的实际意义，因为比较估计θ的ML投资组合很简单*估计ω的方法*通过比较它们的夏普比率。2.3机器学习组合命题1和命题2的结果表明，任何有监督的ML算法都可以用于组合选择，因为此类算法的目标是期望的泛化者。本文的讨论主要局限于formarg minθ（nnXi=1（(R)r）的线性ML模型- x′iθ））受制于P（θ）≤ s（14），其中P（θ）是某个惩罚函数，s是根据数据估计的某个阈值。首先考虑惩罚P（θ）=Pmj=1I（θj6=0）。这里I（θj6=0）是一个指标函数，如果资产j收到非零权重，则取值1，否则取0。在这种情况下，可解释为风险投资组合中允许的最大资产数量。此公式处理估计风险如下。假设我们设置s=2并求解（14）。忽略可能没有n-zero最优权重的多个a SSET将导致相对较低的方差分量，但可能存在较高的偏差。相反，用大量资产（例如s=100）挤占投资组合可以确保没有遗漏重要资产，但可能会导致高差异。因此，目标是选择s，以尽量减少预期的推广误差，从而减少lso估计风险。上述特定惩罚称为最佳子集选择，参见James et al.（2013）。拥有20项资产，有100多万种不同的港口对账单可供选择，因此，对于大型投资组合来说，最佳子集的计算成本太高。

广泛而言，许多ML算法通过惩罚函数的不同规格提供最佳子集问题的近似。我将在第3节中详细说明P（θ）的不同选择，但将下面的讨论限制在调谐参数s的选择上。为此，通常将（14）重写为^θq=arg minθ（nnXi=1（(R)r- 样品μσ中的x′iθ）+λP（θ））（15）μσ′r^uP^σPuPσpAABBB\'B′A\'A′（A）√FOLS公司√F*√ROLS'r'up'σpupσpAABBB\'B′A\'A′（B）人口图3：传统方法和估计风险。这些图说明了传统方法应用于m资产组合的风险估计问题，假设只有一个训练集。图2中的人口解决方案位于上图中的A和A′。图3A：在样本中，OLS估计的权重^θ得出B处的s解。由于过度拟合，该解比A处的总体解更接近r，因此样本误差较低。样本内tangencyportfolio^ω位于B′，对应的样本内矩^up=^u′ω和^σp=（^ω′∑ω）分别为1/2。图3b：B点显示了在总体值下评估的OLS权重。很明显，B比A的总体解更接近理想回报率，这是因为过度拟合的OLS权重^θg线性较差。从r到A和B的距离由下式给出√F*和√FOLS，r分别为，其中FOLS=（\'r- u′^θ)+^θ′Σ^θ. 因此，从A的最优解到B的OLS解的长度由估计风险的平方根给出，√罗尔斯。样本外相切投资组合位于B′，投资组合平均值为up=u′ω，投资组合标准偏差为σp=（uω′∑ω）1/2。

就夏普比率而言，从原点的直线可以看出，由于估计风险，B′处的样本外相切组合使代理人的效果比人口相切组合A′更差。式中，^θqa是使用算法q估计的最优投资组合权重，算法由所使用的惩罚类型P（θ）确定。此外，λ是与惩罚相关的拉格朗日乘子，我将讨论如何选择λ以最小化下面的预期推广误差。2.3.1当λ=0时：传统方法普通最小二乘法（OLS）是（15）的一个重要特例，其中惩罚参数λ=0。在这种情况下解决问题会产生^θ=（X′X）-1X′y（16），其中X是收益的n×m数据矩阵，y=1′r是常数n×1向量。注意，（16）是（8）中最佳权重的样本对应物，即^θ=（^∑+^u′）-1μu′r，其中样本平均值为μu=nX′1，最大似然样本协方差为∑=n（X- 1^u′）（X- 1^u′）=n（X′X）-^u^u′. 然后，估计的最佳相对权重^ω=^θ/1′^θ与相切投资组合的样本版本相对应。因此，OLS解与传统的portfo-lio估计方法等效，其中样本矩直接用于Markowitz公式。OLS与该理论的样本对应物之间的联系提供了一种讨论传统方法在估计风险方面的不足之处的方法。众所周知，OLS提供了最佳的线性无偏估计量，如Hayashi（2000），但OLS解决方案在许多情况下可能严重过拟合，因此预测离子对新数据的泛化能力较差。传统方法可能被认为是一个OLS问题，导致低偏差，但可能过度拟合，从而提供较差的泛化者。

换言之，传统方法只提供偏差为零的最小方差条件，这与最小化偏差和方差的平方和不同。图3展示了传统方法的估计风险问题。考虑图3a，其中B点表示基于m资产的大型投资组合的传统方法的样本内解决方案。使用OLS类比，除非培训数据非常大，否则估计多个资产的回归可能会导致过度拟合。这意味着样本均方根误差较低，测量值为从r到B的距离，低于从r到a的总体误差。直觉表明，样本解决方案是高度灵活的，使用m参数来确定估计样本矩中的纯模式，导致样本误差太低。图3b显示了当OLS解应用于总体矩（即样本外）时，传统方法的估计风险。样本中选取的伪模式不能推广到人群中，导致从r到B的测量结果具有很高的推广误差√以下内容：。因此，从B到A的距离由估计风险的平方根给出，√罗尔斯。显然，在这种情况下，传统方法具有正估计风险。2.3.2当λ>0时：与OLS相比，近似推广误差，任何具有正惩罚λ>0的ML算法都会在投资组合权重估计中引入偏差，但只要方差的减少大于偏差平方的增加，预期推广误差就会减少，从而降低估计风险。然而，问题是如何选择λ以最小化预期的泛化者Fq。

这个错误是无法观察到的，但ML alg算法通过启发式样本分割技术（如K-fold交叉验证）来近似它。returns的训练集被随机分配到K个子样本或“folds”中，无需替换。让Ik表示分配给折叠k和I的返回的索引集-k剩余返回的索引集不指定为折叠k。对于给定的算法q和给定的λ值，使用I中的返回数据估计（15）-kand用^θq，I表示估计的投资组合向量-k、 使用均方误差^Fkq（λ）=| Ik | Xi测试保持折叠上的估计por t folio∈Ik（(R)r- x′i^θq，i-k） （17）其中| Ik |表示以倍数k表示的观察次数。对每一倍数k=1，…，重复此过程，K并计算平均误差^Fq（λ）=KPKk=1^Fkq（λ）。那么λ可以被用来最小化这个误差λ*= arg minλ^Fq（λ），以及通过在λ=λ的所有训练数据上估计（15）得到的最优ML投资组合θqi*.如果交叉预测效果良好，当应用于样本外回报时，估计权重^θq将提供一个接近（9）中给出的真实值FQ的预期广义误差。对于一些采用正惩罚水平估计的算法q，我们应该期望Fq<FOLS。根据估计风险公式（11），因此允许ROLS>Rq>R*= 根据图3b，这将导致一个ML投资组合位于a和B之间的or线上，提供比传统方法更低的估计风险。就图3 a中的样本情况而言，与B中的传统解决方案相比，我们预计会有更大的训练误差。将数据划分为多个折叠有一个直观的解释。如果收益的第一和第二时刻在褶皱中不稳定，则可以证明样本时刻是对人口时刻的不精确估计，因此估计风险很大。