通过协方差惩罚避免后验过度拟合：一项经验研究

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Avoiding Backtesting Overfitting by Covariance-Penalties: an empirical
  investigation of the ordinary and total least squares cases》
---
作者：
Adriano Koshiyama and Nick Firoozye
---
最新提交年份：
2019
---
英文摘要：
  Systematic trading strategies are rule-based procedures which choose portfolios and allocate assets. In order to attain certain desired return profiles, quantitative strategists must determine a large array of trading parameters. Backtesting, the attempt to identify the appropriate parameters using historical data available, has been highly criticized due to the abundance of misleading results. Hence, there is an increasing interest in devising procedures for the assessment and comparison of strategies, that is, devising schemes for preventing what is known as backtesting overfitting. So far, many financial researchers have proposed different ways to tackle this problem that can be broadly categorised in three types: Data Snooping, Overestimated Performance, and Cross-Validation Evaluation. In this paper, we propose a new approach to dealing with financial overfitting, a Covariance-Penalty Correction, in which a risk metric is lowered given the number of parameters and data used to underpins a trading strategy. We outlined the foundation and main results behind the Covariance-Penalty correction for trading strategies. After that, we pursue an empirical investigation, comparing its performance with some other approaches in the realm of Covariance-Penalties across more than 1300 assets, using Ordinary and Total Least Squares. Our results suggest that Covariance-Penalties are a suitable procedure to avoid Backtesting Overfitting, and Total Least Squares provides superior performance when compared to Ordinary Least Squares.
---
中文摘要：
系统交易策略是基于规则的程序，用于选择投资组合和分配资产。为了获得某些期望的回报曲线，定量策略师必须确定大量的交易参数。回溯测试是一种利用可用历史数据确定适当参数的尝试，由于大量误导性结果，受到了高度批评。因此，人们越来越有兴趣设计评估和比较战略的程序，即设计方案来防止所谓的后验过度拟合。迄今为止，许多金融研究人员提出了解决这一问题的不同方法，大致可分为三种类型：数据窥探、高估绩效和交叉验证评估。在这篇文章中，我们提出了一种处理金融过度拟合的新方法，即协方差惩罚校正，在这种方法中，给定用于支持交易策略的参数和数据的数量，降低风险度量。我们概述了交易策略协方差惩罚修正背后的基础和主要结果。之后，我们进行了一项实证调查，使用普通最小二乘法和总体最小二乘法，将其与1300多个资产的协方差惩罚领域中的其他一些方法进行了比较。我们的结果表明，协方差惩罚是避免回测过度拟合的合适程序，与普通最小二乘法相比，总最小二乘法提供了更好的性能。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Portfolio Management        项目组合管理
分类描述：Security selection and optimization, capital allocation, investment strategies and performance measurement
证券选择与优化、资本配置、投资策略与绩效评价
--
一级分类：Quantitative Finance        数量金融学
二级分类：Risk Management        风险管理
分类描述：Measurement and management of financial risks in trading, banking, insurance, corporate and other applications
衡量和管理贸易、银行、保险、企业和其他应用中的金融风险
--
一级分类：Quantitative Finance        数量金融学
二级分类：Trading and Market Microstructure        交易与市场微观结构
分类描述：Market microstructure, liquidity, exchange and auction design, automated trading, agent-based modeling and market-making
市场微观结构，流动性，交易和拍卖设计，自动化交易，基于代理的建模和做市
--

---
PDF下载：
--> Avoiding_Backtesting_Overfitting_by_Covariance-Penalties:_an_empirical_investiga.pdf (2.57 MB)

2022-6-23 22:21:19 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：经验研究 过度拟合 协方差 Quantitative Applications

避免协方差惩罚的反测试过度拟合：对普通和总最小二乘案例的实证研究英国伦敦WC1E 6BT LondonGower街大学学院计算机科学系Riano Koshiyama和Nick FiroozyeDepartment【adriano Koshiyama，15，n.firoozye】@加州大学学院。ac.UK2019年5月14日摘要系统交易策略是基于规则的程序，用于选择投资组合和分配资产。为了获得某些期望的回报，定量策略师必须确定大量交易参数。回溯测试，即试图利用可用的历史数据确定适当的参数，由于大量误导性结果而受到高度批评。因此，人们对评估和比较战略的程序越来越感兴趣，也就是说，设计方案来防止所谓的后验过度匹配。到目前为止，许多金融研究人员已经提出了不同的方法来解决这个问题，可以大致分为三种类型：数据窥探、高估绩效和交叉验证评估。在本文中，我们提出了一种处理财务过度匹配的新方法，即协方差惩罚校正，在这种方法中，考虑到用于支持交易策略的参数和数据的数量，风险度量会降低。我们概述了交易策略协方差惩罚修正的基础和主要结果。之后，我们进行了一项实证调查，使用普通最小二乘法和总体最小二乘法，将其与1300多个资产的协方差惩罚领域的其他方法进行了比较。

我们的结果表明，协方差惩罚是一种合适的方法来避免后验过盈，与普通最小二乘法相比，总最小二乘法提供了更好的性能。关键词：算法交易、过度拟合、协方差惩罚、TotalEast Squares、普通最小二乘、定量金融MSC数字：60G10、62E15、62P05、62F99、91G70、91G801简介系统交易策略是基于规则的程序，用于选择投资组合和分配资产，以提供一组优化某些绩效标准的回报，帮助分散更大的投资组合，或者可能提供专门针对市场条件定制的回报，例如在市场波动加剧时提供保险。为了获得任何这些期望的回报，定量策略师必须确定大量的交易参数，包括确定所持有资产的范围、适当的交易期限、所考虑的策略类型以及许多其他可能的参数化。通常，分析员通过使用所有可用的历史数据，或者通过保留一些最新的数据来确定适当的参数，以便将其用作外样本验证集。然而，这两种回溯测试策略都克服了可能导致其发现失败的缺点。部分原因是回溯测试产生了大量误导性结果，部分原因是回溯测试结果的普遍滥用，人们越来越有兴趣设计评估和比较策略的程序[22、42、3]。目标是制定计划，防止所谓的后验过度匹配。

回溯测试过度匹配可以理解为在策略识别过程中发生的一种附带效应，类似于其他实际建模问题：监督学习中的过度匹配【14、11、29】，或由于多重假设测试偏差（也称为p-hacking）导致的数据捕捉，这是应用科学中经常出现的问题【25、6】。到目前为止，许多金融研究人员已经提出了不同的方法来解决这个问题，可以大致分为三种类型：数据窥探、高估绩效和交叉验证评估。总之，DataSnooping和高估绩效技术旨在通过在多假设测试框架中考虑试验次数和所有尝试策略的绩效来识别虚假结果。相反，交叉验证方法为单独调整交易策略提供了更实用和通用的机制。在本文中，我们提出了一种处理财务过度匹配的新方法，即协方差惩罚校正，其中，考虑到用于支持交易策略的大量参数和数据，降低了风险度量。我们概述了交易策略协方差惩罚校正的基础和主要结果。之后，我们进行了一项实证调查，使用普通最小二乘法和总体最小二乘法，将其与1300多个资产的协方差惩罚领域的其他一些方法进行了比较，最后一种方法提供了优异的性能。在深入研究这一新颖视角之前，我们首先简要展示了可用方法的历史背景。2文献综述我们可以按时间顺序概述文献中评估和处理回溯测试过度匹配的三种不同方法：数据窥探、高估绩效和交叉验证评估。

过度配置的问题不能低估，无数的参考文献强调了phacking的问题，这一问题已经存在了相当长的一段时间，但最近头条新闻越来越多（参见[35]、[26]、[7]、[13]、[24]），尽管它可能并非总是故意的（[16]），并且对财务有害（参见[44]）。2.1数据窥探数据窥探是计量经济学领域常见的问题，尤其是当研究人员探索资产定价模型时。在不同背景下的几个定义中，由于不可避免地重复使用相同的时间序列，财务由发现重要但虚假的风险溢价因素的行为决定【8，48】。这方面的第一项工作可归因于O和MacKinlay【33】试图强调和量化风险溢价研究中数据捕捉的影响。更准确地说，数据窥探问题/解决方案往往侧重于多重假设检验问题。应用科学中比较常用的标准方法是调整多假设检验偏差的窥探，例如Bonferroni和Holm控制家庭错误率（FWER）和Benjamini Hochberg Yekutieli（BHY）控制错误发现率（FDR）的方法。这些方法调整了由于多个测试之间的相关性而导致错误发现的可能性，是防止应用科学中所谓的p-hacking的有效方法。尽管如此，由于它们能够适应最坏的情况，因此众所周知，它们会导致功率显著降低。由于FWER调整的能力较低，Westfall和Young【47】引入了bootstrap方法来估计假设测试之间的经验相关性，以此优化调整后测试统计的能力。

在此基础上，White[48]概述了第一次尝试通过应用引导法来识别交易策略领域中的虚假关系，并将其应用于技术交易规则来改进测试统计数据的尝试之一[45]。Romano和Wolf【40】在程序方面取得了进步，以更适当的引导形式对多个测试进行更充分的纠正，并为标准误差计算提供资源；我们还指出了这方面最近的工作【41、39、42、23】。由于Romano和Wolf可以被视为White工作的延伸，Webriefly概述了其数据窥探诊断算法。设rit=rit-Rbench，Tre表示资产i相对于基准基准基准时间t的超额回报率（R）。每种资产都可以代表一种具有不同参数化的交易策略，基准可以是通常的3个月伦敦银行同业隔夜利率回报率，也可以是一组简单的指标。给定不同的绩效函数P、显著水平α和大量引导样本B（B=1，…，B），请执行：o计算每个资产绩效：pi=P（ri1，…，rit，…，rit）。o设置^V=√T* 最大（p，…，pn）为可用资产的最大估计绩效设置k=1，并且当所有资产未被拒绝时：1。对于b=1。。。，B引导样本，do：（a）取引导样本r（B）。1.r（b）。t从序列r.1。。。，r、 T.The。符号是“所有资产”的缩写。（b） 计算各资产绩效：p（b）i=p（r（b）i1。。。，r（b）it。。。，r（b）iT）一次错误发现的概率，即不拒绝SharpeRatio=0的策略。夏普比率=0时，不拒绝策略的预期频率。（c） 确定统计值Vb=√T* 最大（p（b）i- pp（b）n- pn）2。通过估计分位数（1）找到临界值Ck- vb经验分布的α/k）%。3.

拒绝所有(√T* pi）>ck；移除这些并将其放置在梯队k.4中。k+=1o向用户报告所有梯队。每个梯队代表了交易策略的子集，这些策略往往表现相似，但优于/低于后续/之前的迭代。可以看出，该方法基于逐步递减法，因为我们从对应于最大检验统计量的零假设开始。最后一点：对于第一次迭代，可以通过以下方式计算引导现实检查的p值：pBRC=PBb=1Vb>^VB。这一统计数据解决了这样一个问题：在观察数据中表现最好的策略是否真的超过了基准；它并不试图确定尽可能多的跑赢大市战略。我们还强调，本演示采用了Romano和Wolf程序的非学生版本；对于学生版，它对统计程序进行了一些改进，请参阅[40]。最后，另一种称为模型置信集的相关方法【21，20】承认了数据的局限性，例如，非信息性数据会产生具有许多模型的MCS，而信息性数据会产生只有少数模型的MCS。通过两两比较，该方法创建的置信集（类似于置信区间）包含最佳模型或给定显著水平的模型。2.2高估绩效Harvey和Liu【22】作者展示了一个多假设测试框架，用于识别错误分类为可支持的策略。在深入研究[22]工作之前，应该提到，类似的工作也提出了将不确定性纳入战略绩效并进行调整的方法（主要针对夏普比率）。其中一部分倾向于避免假设检验和置信区间计算，从：（i）经典的i.i.d。

高斯回报率[28]；（ii）然后在（独立）自举支持下放弃高斯假设[46]；（iii）更进一步，能够精确指出诺尼条件下夏普比率的渐近分布。i、 d和更温和的假设[32，37]；最后（iv）通过应用改进的自举形式，降低i.i.d.和基础分布假设[30]。另一种方法是通过计算所谓的概率夏普比来调整夏普比[4]。考虑到收益的偏度和峰度，该度量计算策略绩效大于基准的概率。然而，所有这些工作都没有考虑到为制定策略而进行的试验数量，也没有考虑到为比较不同策略而进行的假设检验。这一信息是相关的，因为每当分析师能够访问回溯测试中的信息时，都会有一些改进：提高整体绩效，消除提款等。通过这种方式，他可以设计止损规则，更改杠杆规则，在重新进行回溯测试时无疑会对战略绩效产生影响。作者【22】将其视为多重假设检验情况【25，6】。为了说明这一概念，如果我们假设（超额）回报率为i.i.d.，并遵循正态分布，那么夏普比率可以重新解释为t分数：t分数=\'RσR×√T=^SR×√T（1），其中^SR是估计的夏普比，T是回测长度。我们可以使用这个t检验，目的是检查观察到偏离零假设（H：SR=0）的概率是否与样本数据中的差异一样极端。

定义为：pS=P r（| t |>tscore）（2），其中t表示服从t分布的随机变量，t-1自由度和p值，通常称为p值，在这种情况下，p值是针对单个假设计算的。如果一项研究探索了几个策略，那么^SR中会出现一些夸张的说法，我们可以将其解释为研究人员为了获得这样的结果而默许了多次尝试。作为这个overstatement的初始估计，假设所有的尝试都是独立的（不真实，但我们把它放在前面），那么我们可以将2重写为：pM=P r（max（| ti |，i=1，…，n）>tscore）==1-nYi=1P r（| ti |≤ t核心）=1- (1 -pS）n（3）根据以下[22]：当n=1（单次试验）且pS=0.05，pM=0.05时，因此没有多次试验调整。如果n=10，我们观察到一个策略，其中pS=0.05，pM=0.401，这意味着发现一个投资策略的概率约为40%，该策略产生的SR至少与观察到的^SR一样大，但远大于单个测试的5%概率。很明显，多重测试大大降低了单一测试的统计显著性。因此，PMI是调整后的p值，它反映了在n次尝试后发现错误策略的可能性，至少与观察到的策略一样有利。通过将单个测试的p值与pM相等，我们获得了多重测试调整（折减）夏普比率的定义方程：pM=p r（| t |>^HSR×）√T）（4）由于PMI大于pS，则^HSR将小于^SR。然而，当测试统计数据依赖时，示例中的方法不再适用，因为PMI通常取决于ntest统计数据的联合分布。对于这种更现实的情况，作者应用了控制FWER和FDR的技术。这些方法是Bonferroni和Holm p值校正，用于控制FWER【10】和BHY程序，用于FDR【6】。

下面，在图1中，我们显示了一些带有夏普比率调整前后以及折减的图表：为了促进对使用这种方法感兴趣的研究，他们为公开可用的Matlab代码提供了alink(http://faculty/fuqua.duke.edu/~查维/回溯测试）。也可以对风险价值指标应用相同的程序（因此，做出相同的假设——检查【22】中的尾注23）。图1：原始和剪发夏普比率，以及不同方法和试验数量的剪发水平。资料来源：[22]可以看出，理发是一个非线性函数，受试验次数和调整方法的高度影响。作者主张在金融应用中使用BHY方法，因为他们认为控制错误发现的比率比控制不进行任何错误发现更合理。最后，正如作者所指出的，这种方法的主要警告是，所有分析都是基于样本数据的，当他们观察到混合策略时，可能有助于对所选交易策略进行双重验证。根据多种测试文献，了解哪些分析师对数据的观察实际上是对数据的使用，从而了解测试，仍然存在一些挑战。