发帖
952 个论坛币
雷达卡
有这样一个“明星”投资分析师，他给他10240位（=10*2^10）潜在客户们宣传他对股票ABC的投资建议。对其中一半客户，他建议买入股票ABC，对另一半客户，他建议卖出。一个月后，这位投资分析师再对其中5120位盈利的客户继续宣传他对股票ABC的投资建议。如同上个月，他对其中一半客户建议买入，对另一半客户，他建议卖出。如此往复10个月，有这么10位客户对他佩服的五体投地，因为他们已经连续盈利10个月了！可是他们不知道这位“明星”投资分析师做了多少失败的投资建议。这是典型的回测过程中的过度拟合问题：只要回测的次数足够多，我们总能找到令人满意的结果。
附近中的最新文献介绍了一种新方法CSCV（Combinatorially Symmetric Cross-Validation）来估计回测中过度拟合的概率大小（Probability of Backtest Overfitting）。这种方法要优于人们通常用的比较样本内和样本外结果（ in-sample vs. out-of-sample）的方法。希望对大家在写计量论文中有帮助。
The procedure presented in this paper has specifically been designed to determine the probability of backtest overfitting (PBO). This is defined as the probability that the strategy with optimal performance IS (in-sample) delivers OOS (out-of-sample) a performance below the median performance of all trials attempted by the researcher. When that probability is high, optimizing IS has a detrimental effect in terms of OOS performance, because the backtest profits from specific features in the IS subset that are not present elsewhere.
（免费资料下载地址，回复可见）
本帖隐藏的内容
The probability of backtest overfitting.pdf
(1.57 MB)
Pseudo-Mathematics and Financial Charlatanism _The Effects of Backtest Overfitti.zip
(2.32 MB)
本附件包括：- Pseudo-Mathematics and Financial Charlatanism _The Effects of Backtest Overfitting on Out-of-Sample Performance.pdf
如果喜欢下列好书，就请“关注”我吧（https://bbs.pinggu.org/z_guanzhu.php?action=add&fuid=452766）。关注成功后，查看这里即可：三步走把千本好书“一网打尽”！。
欢迎订阅wwqqer文库！
[原创] 浅析动量因子（附带Matlab/SAS程序及经典文献85篇，免费
[原创] 如何复制对冲基金的成功？（hedge fund replication，附免费文献）
[原创] 对于目前流行的量化投资与smart beta策略的一些看法 （附免费文献10篇）
[原创] 我读书少，你不要骗我。
[原创] 庄子“逍遥”之我见
【经典教材系列】（资料汇总帖，附链接，持续添加中）
【金融教材系列】（资料汇总帖，附链接，持续添加中）
【统计教材系列】（资料汇总帖，附链接，持续添加中）
【大数据系列】（资料汇总帖，附链接，持续添加中）
【程序软件系列】（资料汇总帖，附链接，持续添加中）
【阿尔法系列】（资料汇总帖，附链接，持续添加中）
【大师系列】（资料汇总帖，持续添加中）
【华尔街系列】（资料汇总帖，附链接，持续添加中）
【Wiley应用量化金融系列】（资料汇总帖，附链接，持续添加中）
【Wiley-Kolb金融系列】（资料汇总帖，附链接，持续添加中）
【国际政经系列】（资料汇总帖，附链接，持续添加中）
【2008金融危机必读系列】（资料汇总帖，附链接，持续添加中）
【畅销书系列】（资料汇总帖，附链接，持续添加中）
【查理芒格系列】Charlie Munger 推荐的20本书！（附链接）
【西蒙系列】跨学科旅行家: 赫伯特 西蒙 （Herbert Simon）资料汇总帖
【弗格森系列】学术界里的明星与怪伽: 尼尔•弗格森（Niall Ferguson）著作汇总帖
美国《时代》杂志2015年度十大最佳非小说类作品（附链接）
《经济学 人》2016年度最佳书单（附链接）
《经济学 人》2015年度最佳书单（附链接）
《经济学 人》2014年度最佳书单（附链接）
亚马逊2016年度最佳商业投资类图书（附链接）
亚马逊2015年度最佳商业投资类图书（附链接）
亚马逊2014年度最佳商业投资类图书（附链接）
2016年度英国《金融 时报》最佳商业图书书单（附链接）
2015年度英国《金融 时报》最佳商业图书书单（附链接）
2014年度英国《金融 时报》最佳商业图书书单（附链接）
彭 博社：2015年欧美政商学界精英的精彩阅读瞬间！
扎克伯格的读书年（A Year of Books）
比尔·盖茨2015年度推荐书单：关注事物的工作原理 （附链接）
比尔·盖茨2016年度推荐书单（附链接）
【独家发布】比尔·盖茨推荐的九本书----希望有人能将它们（感谢olderp的热心帮助）
比尔·盖茨最喜欢的商业书籍 （Bill Gates's Favorite Business Book）
【资源典藏】最值得收藏的创业书单：21本必读国外经典经管书籍都在这里了（感谢iRolly的热心帮助）
金融危机畅销书作家Peter Schiff系列
2015年光棍节推荐书单（附链接）
2015年，梁小民读了328本书，但只推荐这10本（感谢版主的热心帮助）
2015年最值得馆藏的20本商业图书（感谢chenyi112982的热心帮助）
美国知名财经作家Jason Zweig投资入门书推荐！（附链接）
史上最好的20条投资建议 The Best Investment Advice Of All Time （附链接）
资深业内人士推荐的10本交易书（附链接）Top Ten Trading Books I Have Read
[专题系列]
大牛Paul Krugman：日本，对不起！
[专题系列] Barra模型-RiskMetrics (RMA)-PMA资料（持续更新）
[专题系列] 主动投资与被动投资（active vs. passive），到底哪个更厉害？（免费！）
[专题系列] 行为经济学 From “Economic Man” to Behavioral Economics
[专题系列] 特朗普当选美国总统创造奇迹，我们见证历史！经典之作 Trump: The Art of the Deal
[专题系列] 斯坦福大学经济系是如何后来居上的？
[专题系列] ECB 终于把名义利率降为负值了！（附重要文献11篇，免费）
[专题系列] Frameworks for Central Banking in the Next Century（最新文献9篇，免费）
[专题系列] Energy Derivatives Pricing (能源衍生品定价介绍，27篇文献，全部免费)
[专题系列] 揭秘世界知名对冲基金AQR制胜交易策略！附带29篇文献
[专题系列] 有效市场假设(Efficient Market Hypothesis) ：一场伟大的分歧！
[专题系列] 金融危机后，通胀目标（Inflation Targeting）是否仍然可行？
[专题系列] 非常规货币政策退出策略（Exit Strategy） 权威报告！
[专题系列] 回测过程中的过度拟合问题 （backtest overfitting，附最新文献2篇）
[专题系列] 做计量的朋友们，你们的标准误差（standard error）算对了吗？（附程序）
[专题系列] 美国总统经济顾问教你分析宏观数据 Extracting the Signal from the Noise
[论坛活动系列]
第一季翻译悬赏活动：《时代》2015年度风云人物！
第二季翻译悬赏活动: 见证呼吸化空气！
第三季翻译悬赏活动：《时代》2016年度风云人物！
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
