楼主: wwqqer
16046 93

[学科前沿] [专题系列] 回测过程中的过度拟合问题 (backtest overfitting,附最新文献2篇)   [推广有奖]

回帖奖励 965 个论坛币 回复本帖可获得 1 个论坛币奖励! 每人限 1 次

版主

泰斗

56%

还不是VIP/贵宾

-

TA的文库  其他...

经管之家-Wiley文库

经管之家-Springer文库

经管之家-全球著名CRC出版社文库

威望
17
论坛币
1180818 个
通用积分
55078.0161
学术水平
5904 点
热心指数
6381 点
信用等级
5221 点
经验
19965 点
帖子
7086
精华
93
在线时间
8397 小时
注册时间
2007-12-10
最后登录
2019-8-21

二级伯乐勋章 一级伯乐勋章 初级学术勋章 中级学术勋章 初级热心勋章 中级热心勋章 初级信用勋章 中级信用勋章 高级学术勋章 高级热心勋章 特级学术勋章 高级信用勋章 特级信用勋章 特级热心勋章

wwqqer 在职认证  发表于 2014-4-10 01:48:51 |显示全部楼层
本帖最后由 wwqqer 于 2017-1-23 04:51 编辑

有这样一个“明星”投资分析师,他给他10240位(=10*2^10)潜在客户们宣传他对股票ABC的投资建议。对其中一半客户,他建议买入股票ABC,对另一半客户,他建议卖出。一个月后,这位投资分析师再对其中5120位盈利的客户继续宣传他对股票ABC的投资建议。如同上个月,他对其中一半客户建议买入,对另一半客户,他建议卖出。如此往复10个月,有这么10位客户对他佩服的五体投地,因为他们已经连续盈利10个月了!可是他们不知道这位“明星”投资分析师做了多少失败的投资建议。这是典型的回测过程中的过度拟合问题:只要回测的次数足够多,我们总能找到令人满意的结果。


附近中的最新文献介绍了一种新方法CSCVCombinatorially Symmetric  Cross-Validation)来估计回测中过度拟合的概率大小(Probability of Backtest Overfitting)。这种方法要优于人们通常用的比较样本内和样本外结果( in-sample vs. out-of-sample)的方法。希望对大家在写计量论文中有帮助。


The procedure presented in this paper has specifically been designed to determine the probability of backtest overfitting (PBO). This is defined as the probability that the strategy with optimal performance IS (in-sample) delivers OOS (out-of-sample) a performance below the median performance of all trials attempted by the researcher. When that probability is high, optimizing IS has a detrimental effect in terms of OOS performance, because the backtest profits from specific features in the IS subset that are not present elsewhere.


免费资料下载地址,回复可见

本帖隐藏的内容

The probability of backtest overfitting.pdf (1.57 MB) Pseudo-Mathematics and Financial Charlatanism _The Effects of Backtest Overfitti.zip (2.32 MB)




如果喜欢下列好书,就请“关注”我吧https://bbs.pinggu.org/z_guanzhu.php?action=add&fuid=452766关注成功后,查看这里即可:三步走把千本好书“一网打尽”!
欢迎订阅wwqqer文库!
[原创] 浅析动量因子(附带Matlab/SAS程序及经典文献85篇,免费
[原创] 如何复制对冲基金的成功?(hedge fund replication,附免费文献)
[原创] 对于目前流行的量化投资与smart beta策略的一些看法 (附免费文献10篇)
[原创] 我读书少,你不要骗我。
[原创] 庄子“逍遥”之我见

【经典教材系列】(资料汇总帖,附链接,持续添加中)
【金融教材系列】(资料汇总帖,附链接,持续添加中)
【统计教材系列】(资料汇总帖,附链接,持续添加中)
【大数据系列】(资料汇总帖,附链接,持续添加中)
【程序软件系列】(资料汇总帖,附链接,持续添加中)

【阿尔法系列】(资料汇总帖,附链接,持续添加中)
【大师系列】(资料汇总帖,持续添加中)
【华尔街系列】(资料汇总帖,附链接,持续添加中)
【Wiley应用量化金融系列】(资料汇总帖,附链接,持续添加中)
【Wiley-Kolb金融系列】(资料汇总帖,附链接,持续添加中)

【国际政经系列】(资料汇总帖,附链接,持续添加中)
【2008金融危机必读系列】(资料汇总帖,附链接,持续添加中)
【畅销书系列】(资料汇总帖,附链接,持续添加中)
【查理芒格系列】Charlie Munger 推荐的20本书!(附链接)
【西蒙系列】跨学科旅行家: 赫伯特 西蒙 (Herbert Simon)资料汇总帖
【弗格森系列】学术界里的明星与怪伽: 尼尔•弗格森(Niall Ferguson)著作汇总帖

美国《时代》杂志2015年度十大最佳非小说类作品(附链接)
《经济学 人》2016年度最佳书单(附链接)
《经济学 人》2015年度最佳书单(附链接)
《经济学 人》2014年度最佳书单(附链接)
亚马逊2016年度最佳商业投资类图书(附链接)
亚马逊2015年度最佳商业投资类图书(附链接)
亚马逊2014年度最佳商业投资类图书(附链接)
2016年度英国《金融 时报》最佳商业图书书单(附链接)
2015年度英国《金融 时报》最佳商业图书书单(附链接)
2014年度英国《金融 时报》最佳商业图书书单(附链接)

彭 博社:2015年欧美政商学界精英的精彩阅读瞬间!
扎克伯格的读书年(A Year of Books)
比尔·盖茨2015年度推荐书单:关注事物的工作原理 (附链接)
比尔·盖茨2016年度推荐书单(附链接)
【独家发布】比尔·盖茨推荐的九本书----希望有人能将它们(感谢olderp的热心帮助)
比尔·盖茨最喜欢的商业书籍 (Bill Gates's Favorite Business Book)
【资源典藏】最值得收藏的创业书单:21本必读国外经典经管书籍都在这里了(感谢iRolly的热心帮助)

金融危机畅销书作家Peter Schiff系列
2015年光棍节推荐书单(附链接)
2015年,梁小民读了328本书,但只推荐这10本(感谢版主的热心帮助)
2015年最值得馆藏的20本商业图书(感谢chenyi112982的热心帮助)
美国知名财经作家Jason Zweig投资入门书推荐!(附链接)
史上最好的20条投资建议 The Best Investment Advice Of All Time (附链接)
资深业内人士推荐的10本交易书(附链接)Top Ten Trading Books I Have Read

[专题系列]
大牛Paul Krugman:日本,对不起!
[专题系列] Barra模型-RiskMetrics (RMA)-PMA资料(持续更新)
[专题系列] 主动投资与被动投资(active vs. passive),到底哪个更厉害?(免费!)
[专题系列] 行为经济学 From “Economic Man” to Behavioral Economics
[专题系列] 特朗普当选美国总统创造奇迹,我们见证历史!经典之作 Trump: The Art of the Deal

[专题系列] 斯坦福大学经济系是如何后来居上的?
[专题系列] ECB 终于把名义利率降为负值了!(附重要文献11篇,免费)
[专题系列] Frameworks for Central Banking in the Next Century(最新文献9篇,免费)
[专题系列] Energy Derivatives Pricing (能源衍生品定价介绍,27篇文献,全部免费)
[专题系列] 揭秘世界知名对冲基金AQR制胜交易策略!附带29篇文献

[专题系列] 有效市场假设(Efficient Market Hypothesis) :一场伟大的分歧!
[专题系列] 金融危机后,通胀目标(Inflation Targeting)是否仍然可行?
[专题系列] 非常规货币政策退出策略(Exit Strategy) 权威报告!
[专题系列] 回测过程中的过度拟合问题 (backtest overfitting,附最新文献2篇)
[专题系列] 做计量的朋友们,你们的标准误差(standard error)算对了吗?(附程序)
[专题系列] 美国总统经济顾问教你分析宏观数据 Extracting the Signal from the Noise


[论坛活动系列]
第一季翻译悬赏活动:《时代》2015年度风云人物!
第二季翻译悬赏活动: 见证呼吸化空气!
第三季翻译悬赏活动:《时代》2016年度风云人物!



已有 5 人评分经验 论坛币 学术水平 热心指数 信用等级 收起 理由
zhuosn + 5 精彩帖子
np84 + 100 精彩帖子
crystal8832 + 40 + 3 + 3 + 3 精彩帖子
jerker + 60 + 1 + 1 + 1 精彩帖子
faruto + 1 + 1 + 1 精彩帖子 不错

总评分: 经验 + 160  论坛币 + 40  学术水平 + 10  热心指数 + 5  信用等级 + 5   查看全部评分

本帖被以下文库推荐

stata SPSS
Yoto0282 发表于 2014-4-10 11:08:37 |显示全部楼层
Thank you for share!!
回复

使用道具 举报

faruto 发表于 2014-4-20 21:11:15 |显示全部楼层
学习一下。感谢分享~~
http://weibo.com/faruto
www.matlabsky.com
http://blog.sina.com.cn/faruto
回复

使用道具 举报

Shaolin1 发表于 2014-4-22 11:38:05 |显示全部楼层
看看下
回复

使用道具 举报

redbraven 发表于 2014-4-22 23:38:22 |显示全部楼层
楼主辛苦了。。。。。。。。。。。。。。。。。。。。
回复

使用道具 举报

Alphaseeker 发表于 2014-4-24 08:57:38 |显示全部楼层
谢谢楼主分享~~
回复

使用道具 举报

xujingtang 发表于 2014-4-24 09:01:58 |显示全部楼层
谢谢分享~~~~
建仓是最好的模仿,模仿是最深的信仰
回复

使用道具 举报

commontown 发表于 2014-5-4 15:55:55 |显示全部楼层

Thank you for share!!
回复

使用道具 举报

lovebao 发表于 2014-5-5 21:08:56 |显示全部楼层
感谢楼主分享
回复

使用道具 举报

yjhanywhere 发表于 2014-5-6 15:08:08 |显示全部楼层
很不错啊,回帖看一下
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 我要注册

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2019-8-21 20:00