《华尔街日报》的股市预测：基于稀疏矩阵的文本挖掘

为了理解原因，我们研究了市场，注意到2013年是“更容易”的一年，因为（a）其他基本算法在2013年也有更好的表现，（b）2012年的股价波动性更高，这表明价格“更难”预测。从标准普尔500指数的回报率来看，2012年在1997年以来的16年中排名第10，而2013年是其中最好的一年。DayStock ID50 100 150 200 250 300 350 40050100150200250300350400450500550（a）由于我们的策略，投资组合中的股票权重。0 50 100 150 200 250 300 350 4000.911.11.21.31.41.51.6天累计回报我们的策略-巴胡-CBALMVP-BAHMVP-CBAL（b）累积回报。图4。想象我们的战略和回报。虚线的左（右）区域对应于2012年（2013年）。表VTOP十个正面和负面词汇表中的两个因素。列表词因素1，积极的华尔街十亿目标设计的公司ceo协议职位买家机构因素1，消极的华尔街世界分钟无比赛短跑项目大学主席反对因素2，积极的华尔街开始反对线资产大学建立的短跑风险因素2，消极的协议设计的十亿强硬债券设定了华尔街目标。相关工作我们在这里讨论的重点是研究新闻文本（包括社交媒体产生的文本）与股价之间关系的工作。投资组合优化（例如[12,13,16-18]及其参考文献）是金融计量经济学的一个重要领域，但它与我们的工作没有直接关系，因为它不包含新闻数据。新闻文章对金融市场的预测能力已被广泛研究。Tetlock[3]对《华尔街日报》的一个专栏进行了情绪分析，结果表明，消极情绪信号先于道琼斯工业平均指数的下降。Chan[2]研究了报纸的头条新闻，发现投资者往往对负面新闻反应不足。Dougal等人。

[19] 表明专栏作家的报道风格与市场表现有因果关系。W–uthrich等人[20]，Lavrenko等人[21]，Fung等人[22]，Schumaker和Chen[23]，Zhang和Skiena[24]使用新闻媒体预测股票运动机器学习和/或数据挖掘技术。除了使用新闻，还研究了其他文本源，如公司公告[25,26]、在线论坛[27]、博客[24]和在线社交媒体[24,28]。参见[4]了解全面调查。与现有方法的比较。大致来说，上面讨论的大多数预测算法都遵循相同的规则：首先，算法基于新闻文章构造特征向量。下一步，算法将侧重于预测新闻中提到的股票或公司的子集。考虑了不同的特征向量，例如，[21]使用一袋词模型，而[24]从文本中提取情感。此外，大多数“现成”的机器学习解决方案，如广义线性模型[3]、朴素贝叶斯分类器[21]和支持向量机[23]都在文献中进行了研究。我们的方法与现有的方法有两个不同之处：（1）没有NLP。与[3,23,25]不同的是，我们不会试图用诸如感知分析和命名实体识别等技术来解读或理解新闻文章。通过这种方式，我们的预测算法的架构变得更简单（因此具有更低的方差）。（2） 利用股票之间的相关性。Lavrenko等人[21]，Fung等人[22]也在不使用NLP的情况下进行预测，但所有这些算法都没有利用不同股票之间可能存在的相关性。目前尚不清楚这些算法如何在不大幅增加模型复杂度的情况下用于预测大量股票。八、结论在本文中，我们重新探讨了挖掘文本数据以预测股市的问题。

我们提出了一个统一的潜在因素模型来模拟股票价格和报纸内容之间的联合相关性，这使我们能够对个别股票进行预测，即使是那些没有出现在新闻中的股票。然后，我们将模型学习描述为使用ADMM解决的稀疏矩阵分解问题。使用《华尔街日报》近六年的数据和股价数据进行的广泛回溯测试表明，我们的方法比市场和许多投资组合构建策略的表现要好得多。我们注意到我们的方法通常适用于所有文本数据源，我们计划将其扩展到更高频率的数据源，如Twitter。参考文献[1]E.F.Fama，“市场效率、长期回报和行为金融”，《金融经济学杂志》，第49卷，第3期，1998年。[2] 陈文思，“股价对新闻和无新闻的反应：头条新闻后的波动和反转”，《金融经济学杂志》，2003年第70卷。[3] P.C.Tetlock，“为投资者情绪提供内容：媒体在股市中的作用”，《金融杂志》，第62卷，第3期，2007年。[4] M.Minev、C.Schommer和T.Gramatikos，“新闻和股票市场：关于异常回报和预测模型的调查”，卢森堡大学，技术代表，2012年。[5] K.P.墨菲，《机器学习：概率视角》。麻省理工学院出版社，2012年。[6] S.Boyd，N.Parikh，E.Chu，B.Peleato和J.Eckstein，“通过乘法器交替方向法的分布式优化和统计学习”，机器学习的基础和趋势，第3卷，第1期，2010年。[7] Y.Koren，R.Bell和C.Volinsky，“推荐系统的矩阵分解技术”，IEEE计算机，第42卷，第8期，2009年。[8] J.Friedman，T.Hastine和R.Tibshirani，“关于群套索和稀疏群套索的说明”，斯坦福大学技术代表，2010年。[9] Y。

Zhang，“非负矩阵分解的交替方向算法”，赖斯大学技术代表，2010年。[10] G.H.Golub，S.Nash和C.van Loan，“AX+Xb=C问题的Hessenberg-Schurmethod”，IEEE Transactionson Automatic Control，第24卷，第6期，1979年。[11] P.Sprechmann，I.Ramirez，G.Sapiro和Y.C.Eldar，“CHiLasso:一个协作的分层稀疏建模框架”，IEEE信号处理事务，第59卷，第92011号。[12] H.Markowitz，“投资组合选择”，《金融杂志》，第7卷，第1期，1952年。[13] G.Ganeshapillai，J.Guttag和A.W.Lo，“金融时间序列中的学习联系”，ICML，2013年。[14] L.van der Maaten和G.Hinton，“使用tSNE可视化数据”，《机器学习研究杂志》，2008年第9卷。[15] G.Doyle和C.Elkan，“金融主题模型”，发表于2009年NIPS主题模型应用研讨会：文本和超越。[16] T.M.封面，“通用投资组合”，数学金融，第一卷，第一期，1991年。[17] A.Borodin、R.El Yaniv和V.Gogan，“我们能学会吃最好的股票吗？”艺术情报研究杂志，第21卷，第一期，2004年。[18] A.Agarwal、E.Hazan、S.Kale和R.E.Schapire，“基于牛顿法的投资组合管理算法”，inICML，2006年。[19] C.Dougal，J.Engelberg，Garcia和C.a.Parsons，“新闻工作者与股市”，《金融研究评论》，第25卷，第3期，2012年。[20] B.W–uthrich，D.Permunitileke，S.Leung，V.Cho，L.Zhang和W.Lam，“从文本数据对主要股票指数的每日预测”，KDD，1998年。[21]V.拉夫伦科、M.施米尔、D.劳里、P.奥格尔维、D.詹森和J。Allan，“并发文本和时间序列的挖掘”，KDD2000文本挖掘研讨会，2000年。[22]G.P.C.Fung、J.X.Yu和W.Lam，“对新闻敏感的股票趋势预测”，PAKDD，2002年。[23]R.P.舒梅克和H。

陈，“利用突发金融新闻对股市预测的文本分析：AZFinTextsystem”，ACM信息系统交易，第27卷，第2期，2009年。[24]W.Zhang和S.Skiena，“利用博客和新闻情绪的交易策略”，ICWSM，2010年。[25]M.Hagenau、M.Liebmann、M.Hedwig和D.Neumann，“自动新闻阅读：基于金融网络的股票价格预测，使用上下文特定的功能”，HICSS，2012年。[26]M.-A.Mittermayer和G.F.Knolmayer，“新闻猫：新闻分类和交易系统”，ICDM，2006年。[27]J.D.Thomas和K.Sycara，“将遗传算法和文本学习结合起来进行财务预测”，发表于GECCO-2000数据挖掘与进化算法研讨会，2000年。[28]H.Mao、S.Counts和J.Bollen，“预测金融市场：比较调查、新闻、Twitter和搜索引擎数据”，预印本，2011年。