您应该如何折扣您的回溯测试PnL？

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《How should you discount your backtest PnL?》
---
作者：
Adam Rej, Philip Seager and Jean-Philippe Bouchaud
---
最新提交年份：
2019
---
英文摘要：
  In-sample overfitting is a drawback of any backtest-based investment strategy. It is thus of paramount importance to have an understanding of why and how the in-sample overfitting occurs. In this article we propose a simple framework that allows one to model and quantify in-sample PnL overfitting. This allows us to compute the factor appropriate for discounting PnLs of in-sample investment strategies.
---
中文摘要：
样本中的过度拟合是任何基于回溯测试的投资策略的缺点。因此，了解样本内过度拟合发生的原因和方式至关重要。在本文中，我们提出了一个简单的框架，允许对样本PnL过度拟合进行建模和量化。这允许我们计算适用于贴现样本内投资策略PNL的因子。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--

---
PDF下载：
--> How_should_you_discount_your_backtest_PnL?.pdf (517.79 KB)

2022-6-11 14:51:29 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Quantitative Applications Econophysics Statistical Econometric

您应该如何折扣您的回溯测试PnL？Adam Rej，Philip Seager&Jean-Philippe BouchaudCapital Fund Management，23 rue de l\'Université，75007巴黎样本过度拟合是任何基于回溯测试的投资策略的缺点。因此，了解样本内过度拟合发生的原因和方式至关重要。在本文中，我们提出了一个简单的框架，允许oneto建模和量化样本PnL过度拟合。这使我们能够计算适用于贴现样本投资策略中PNL的因子。简介数据驱动的系统投资策略目前被资产管理公司广泛采用。投资研究团队筛选历史市场数据，希望发现可以货币化的重复模式。这种投资方法很有吸引力，因为基于规则的决策过程可以使用统计方法进行评估。此外，它还允许克服常见的投资偏见，例如损失厌恶。使用回溯测试评估的任何策略，无论是自主性的还是系统性的，都有被过度匹配的风险（参见[1-3]）。换句话说，它的部分表现（或极端情况下的整体表现）是由于市场力量的良好协调。当然，这种意外的表现在未来是不可指望的。在随机过程的语言中，有利或不利的市场条件只代表纯粹的噪音。因此，以其表面值获得有利的噪声实现是过度拟合的一个重要来源。然而，还有另一个同样重要的促成因素。如果研究团队有理由相信他们的策略是合理的，但后验损益没有达到他们的预期，那么他们很可能不会轻易放弃。相反，该策略将被分解为基本的构建块，并将仔细研究其中的每一个。

研究团队将对这些构建块提出“改进”，一个或多个系列的改进将产生可接受的回测性能。这个过程真的改善了策略吗？在大多数情况下，答案是否定的。性能提高仅仅来自于“改进”原始策略的噪声实现。即使改进是真实的，也没有办法知道。谨慎的做法是，假设基本情况没有改善。在下一节中，我们将具体化和量化上述论点。我们的设置和主要结果假设研究人员已经确定了有效的投资策略。假设此策略与任何其他已知策略不相关，则我们将此策略视为隔离策略。我们将在有限的时间间隔（0，T）内，通过漂移布朗运动Dpnl=udt+σdW（1）对策略的（对数-）PnL进行建模。我们用年来测量T。策略的真实夏普比SRt=uσremainsunbownst给研究人员[4]。她所能做的最好的事情是计算估计的夏普比SR。众所周知，夏普比的估计会有相当大的误差，因为无法将（1）中的漂移项与噪声的实现分离开来。只有通过增加回溯测试的长度T，才能提高估计的质量。然而，在实践中，对于许多资产类型，回溯测试仅限于（最多）几十年的日常数据。由于对于SR=0.5的P＆Lone，需要43年的回溯测试数据，才能99.9%确定性能与噪声显著不同，因此应该清楚的是，对较低夏普比率策略的统计评估充满了风险。一些读者可能会打趣地说，从一开始就看这些没有吸引力的策略是没有意义的。然而，回想一下，我们在这里孤立地考虑投资策略。

在实践中，资产管理人将评估现有战略的剩余绩效。剩余夏普比率约为0.3-0.5在CTA领域很常见。在部署新战略之前，投资委员会将检查其若干特征，如风险回报率、再平衡频率、回测中的最大提取、与其他战略的相关性等。新战略应增加投资组合的多元化和预期回报。对于与现有港口策略不相关的策略，这些要求将转化为设定夏普比率阈值，即手头的策略需要清除的夏普比率阈值。然而，让我们强调一下，研究人员无法区分这个过程和它的最终实现。这是过度匹配的固有来源之一，因为她只会推销策略，例如Sr>Θ。（2） 因此，我们将假设，如果战略（1）的实现清除了阈值，它将“按原样”提交给投资委员会。如果绩效低于要求，研究人员将尝试改进策略。这些“调整”通常包括对策略的轻微修改，如用相似的过滤器替换过滤器、更改一些参数、删除某些资产类型等。研究人员通常有一个合理的叙述来证明这些。当然，只保留能够改善样本内性能的修改。在这里，我们假设每一次这样的修改都会恶化样本外的性能。换句话说，你无法击败（1）。这可能看起来很悲观，但平均而言，我们认为这与现实并不完全相反。无论如何，这种保守的假设提供了一个明确的基本情况。我们现在转向建模“战略改进”。让我们将（1）得出的损益除以N个相等区间。

实现的夏普比率是其子节SSR=NNXi=1SRi的平均夏普。（3） 在离散（日常）过程的情况下，只要域不太小，这个公式就是非常好的近似值。使用有限数量的数据点计算的夏普比率近似为正态分布[5]SRi∈ N（SRt，σSR（N）），（4），其中σSR（N）=NT1+SRt，每日≡ NσSR，总重量。同样，只要每个切片中有足够数量的数据点，这种近似值就成立。观察到，进入上述公式的是SRT的每日版本，因此对于所有实际目的，第二项可以忽略不计。请注意，分解（3）可以，但不必遵循时间顺序。因此，例如，在N=5的情况下，每个片段可能代表一周中给定日期的表现。我们使用索引来标记切片，但这种标记并不意味着任何排序。我们假设，对策略的每一次修改（“调整”）都会转化为在大量选择的f×N截面子集上的预测符号，另见【6】。参数0≤ f≤ 1从本质上反映了研究人员的超凡能力。我们在图1中说明了这个过程。对于原始损益的给定实现和N个桶的给定投资，我们称之为修改后的策略，其夏普比率超过原始实现。如果过度匹配策略集为非空，则始终存在一个“最大”过度匹配轨迹，该轨迹可最大化（样本中）夏普比率。“非最大”过拟合轨迹集包括高于原始损益且低于上述最大过拟合（MO）轨迹的轨迹。当然，大量修改后的轨迹实际上将如图1所示：这里，原始损益分为10个部分，f=0.3。

第I段、第VIII段和第X段中的最大过盈轨迹由弯曲符号表示。不同子段上的非最大轨迹弯曲符号。比原始损益表更差。研究人员将丢弃这些损益表。修改策略的夏普比率，SRmis givenbySRm=-NfNXi=1SRi+NNXi=fN+1SRi。（5） 由于我们假设研究人员仅在其原始实现表现不佳时寻求改进策略，因此感兴趣的数量是对应于top的概率密度（SRm<x | SR<Θ）=Zx-∞ρ（y）dy。（6） 使用分解（5）计算ρ（y）很简单。我们在附录中介绍了它。在我们使用ρ（y）之前，我们想对框架的参数f和N有一些直观的了解。从（5）可以看出，修改后的损益将为（1-2f）与原始策略相关。参数f表示研究人员准备偏离原始损益的程度。我们预计，通常情况下，研究人员不希望“改进”策略与原始提案的相关性小于80%，这将转化为fmax=0.1的上限。下面我们将f作为模型的参数。另一方面，参数N没有简单直观的解释。因此，对于高斯回归，密度ρ（y）不依赖于N，这是一个非常受欢迎的消息。读者可能会认为n是一个允许设置SCAF的参数，但一旦构建完成，就不再需要它了。我们假设，如果策略的最初实现没有达到阈值，研究团队将继续改进，并在SR>Θ时停止。

虽然通过在一个损益分类的

当T变大时，条件期望ρ（SRm | SRm>Θ）约为Θ。由于有效地一小部分回溯测试用于过度拟合，增加回溯测试的长度也会增加过度拟合的自由度，条件期望变化不大。这是一个完全不同的故事图2：作为T和srt函数的过度匹配因子。对于概率，我们将其余参数固定为Θ=0.7和f=0.025。一次有效尝试将导致投资委员会接受POA=p（SR>Θ）+p（SR<Θ）×p（SRm>|SR<Θ）（10）的概率以及一次有效过度匹配的概率，PoOF=p（SRm>|SR<Θ），随着T的增加而降低。将后者绘制在图3中。在实践中，回溯测试时间越长，研究人员就越不愿意脱离原始损益。这将引入f和T之间的反向关系，从而得出结论，回溯测试时间越长，越适合的程度越低。然而，请注意，这种关系是行为性的，可能并非源自第一原则。在图4中，我们研究了OFF随分数f的变化情况。正如所料，过度装修的自由度越高，过度装修的程度就越高。夏普比率较低的策略比夏普比率较高的策略受到的影响更大。极限f→ 0很棘手。公式（7）（8）有意义≥ 1和极限f→ 可能无法连续达到0。另一方面，接受概率（10）具有平滑的f→ 0限制，因为过拟合概率为f→ 最后，在图5中，我们绘制了不同阈值夏普比率的NOFF和f之间的关系，但未执行的阈值与回测长度T之间的关系。如预期的那样，将条设置得更高会增加过度拟合的程度。图3：作为ofT和SRt函数的过度拟合概率<Θ。

我们将其余参数固定为Θ=0.7和f=0.025图4：作为f和Srt<Θ函数的过拟合系数。我们将其余参数固定为Θ=0.7和T=20y结论和展望我们提出了一个直观的框架，有助于更好地了解损益过度设置以及如何量化。特别是，我们确定了应用于在样本损益表中贴现的过度拟合系数。我们发现，对于CTA策略的典型夏普比率（0.3-0.5）和其他参数的合理值（f~ 0.05, Θ ~ 0.7）贴现系数为2，这符合我们的经验，似乎是行业标准[1]。然而，请注意，结果为一般图5：作为f和Θ函数的过拟合系数。我们将剩余参数固定为SRt=0.5和T=20，并特别适用于快速、高夏普策略。然而，对于此类策略，阈值夏普比率Θ对策略的持有期（或每笔交易的收益）非常敏感，并且从下方以盈亏夏普比率为界。最后，我们想强调的是，我们对研究人员的工作方式做出了一定的假设。然而，我们的框架足够灵活，可以容纳其他过度匹配模式。例如，我们可以想象研究人员总是最大限度地过盈。样本中的预期夏普比将是最大限度过盈轨迹的平均夏普比。在这种情况下，对氮的依赖不会消失，因为原始损益的内部分批提高了样本内夏普比率。感谢Yann von Hansen、Adam Majewski、Emmanuel Serie和Gilles Zérah为我们的讨论提供了激励。附录条件密度密度密度（6）的推导取决于以下观察结果。

由于所有收益都是高斯的，可以引入两个独立的高斯随机变量UAN和V定义的asU：=NfNXi=1SRi，V：=NNXi=fN+1SRi，以及高斯pdf P（U）和Q（V）。利用分解（5），我们可以写出ρ（y）=Φ（Θ，SRt，σSR，tot）Z∞-∞Z∞-∞dUdVP（U）Q（V）θ（Θ）- U- V）δ（y+U）- V）。（11） 我们用θ（x）表示Heaviside函数，Φ（x，α，β）是正态分布N（α，β）的cdf。计算密度很简单。结果是ρ（y）=q2πσSR，totΦ（Θ，SRt，σSR，tot）×exp-σSR，tot（y- SRt（1- 2f））×Φ√2αν（y），0，1, （12） 式中，ν（y）=2α（Θ）- SRt+（1- 2f）（SRt（1- 2f）- y） ），2α=4σSR，totf（1- f）。（13） [1]Campbell R.Harvey和Yan Liu，《投资组合管理杂志2015年秋季回溯测试》，42（1）13-28[2]Bailey，D.H.，Borwein，J.，Lopez de Prado，M.，和Zhu，Q.J.（2016）。回溯测试覆盖的概率。《计算金融杂志》（RiskJournals），2015年，即将出版。SSRN提供：https://ssrn.com/abstract=2326253[3] Dirk Paulsen和Jakob S"ohl（2017），NoiseFit，估计误差和Sharpe信息标准：线性情况。SSRN提供：https://ssrn.com/abstract=2928607[4] 除非另有说明，本文中的所有夏普比率均使用每日数据计算并按年计算。我们估计每年有260个交易日。[5] Andrew Lo，《Sharpe比率统计》，金融分析师杂志，第58卷，第4期（2002年），第36-52页[6]，对于较大的N值，这相当于一个稍微更一般的设置，其中调整对应于2f×N节随机选择子集上的随机符号flips。使用成功概率p=0.5的二项分布对符号流进行建模，可以表明，在较大的限制下，f×N流符号的贡献超过其他项，可以恢复本文提出的模型。