牛市-熊市平衡：社会知情金融的聚类分析

按部门划分的百分比突出表明，大盘股的大部分属于技术和金融部门，纽约证券交易所的分布更加平衡。IEEE 4 | P a g电子计算会议201718-2017年7月20日|英国伦敦（a）a）纳斯达克（b）b）纽约证券交易所图2：推特量的概率分布。所选公司的纽约证券交易所和纳斯达克推特交易量之间存在很大差异。纳斯达克指数包含几个异常值（最显著的是$APPL），使分布向高端倾斜。纳斯达克（NASDAQ）推文数量更多，分布更为多变，总计324239条，标准差5489条，而纽约证交所分别为212368条和1241条。（a） a）纳斯达克（b）b）纽约证券交易所图3：市值与推特数量正相关。纽约证券交易所（NYSE）和纳斯达克（NASDAQ）选定的公司在市值（x）和平均每月推特量（y）之间表现出中度正相关。图2和图3比较了关于交易所特定证券的推特数量与这些证券的规模之间的关系。综上所述，推特量存在强烈的右偏，这有助于在推特量量化的证券规模与投资者利益之间形成适度的正相关关系。在这两个交易所中，都有几个值得注意的异常值，例如$AAPL包含的推特数量不成比例。在图4和图5中，我们给出了一系列与用于计算M I的数据的特征行为相关的图。图4中所有特征之间的相关图（见表1和表2）加强了PCA降维的使用。由于特征是相关的，因此将这些变量的压缩注入到MI计算中是很有用的。

社交媒体特征之间存在相关性，例如，情感极性、信息量以及日常财务特征。大多数特征也以非正态分布为特征（见图5）。对于高度依赖于市值的功能（例如，平均每月消息量为（见图2）），存在对数正态行为。此外，纳斯达克和纽约证券交易所的股票交易结果也具有可比性。2017年7月20日至2017年7月18日，IEEE 5 | P a g电子计算会议|英国伦敦图4：纳斯达克相关矩阵。右上象限（和左下象限）显示社会和金融特征之间的相关性较弱或不存在相关性。纽约证券交易所的特征表现出可比的相关性。（a） a）（b）b）图5：拟合正态曲线的概率分布示例。这些图是纳斯达克和纽约证券交易所社交媒体（A）和财务特征（B）中非正态分布的典范。IEEE 6 | P a g电子计算会议2017年7月18日至20日，英国伦敦。结果我们使用概述的信息盈余方法[9]和2012年1月1日至2016年1月1日的数据来确定纽约证券交易所和纳斯达克的哪些股票平均表现出显著的领先信息盈余。然后，我们在该方法的基础上对股票进行聚类，并检查哪些变量的配置表明信息盈余较高。A、 减少波动性的不确定性纳斯达克和纽约证券交易所的实验是同步进行的，它们产生了可比的结果。我们在纳斯达克发现101只股票，当使用社交媒体作为真实范围内每日变化的指标（我们对波动性的衡量，见方程式1）时，这些股票显示出领先的信息盈余。在最初检查的250只股票中，149只没有重大盈余，这意味着在10天的时间间隔内，盈余没有超过预期盈余。

因此，例如，图6中蓝色事前序列低于10天期平均事后序列的期间不包含显著的领先盈余。然而，所有拥有显著领先盈余的101只股票都通过了第二次验证测试，表现优于95%的随机排列数据。对于纽约证券交易所来说，最初的250只股票中有91只表现出显著的领先盈余。此外，只有一家公司没有通过第二次验证测试。纳斯达克和纽约证券交易所重要股票的完整列表见附录B。图6：样本信息盈余。对于每个滞后，盈余计算为基本情况上方的MI量，MIt=0。如果盈余大于10天窗口期内的平均事后盈余，则会出现显著的事前盈余。B、 使用研究的相关数字特征对具有统计显著信息盈余的领先盈余指标股票进行聚类（见表一和表二）。聚类的目的是识别在多个时间滞后（即高POS\\U LAG\\U计数值）表现出盈余的股票和盈余最高（即高MAX\\U INF\\U SUPP\\U PCT值）的股票的聚类特征。结果在测试的聚类数k的不同值上是稳健的。我们发现，适度选择k all产生了图7所示的值得注意的聚类结果，其中几乎完全包含了显著的盈余。图7所示的两个聚类图对应于纳斯达克和纽约证券交易所的聚类重心特征图，其中包含最高的信息剩余值。有趣的是，牛市负熊市在集群中最大化，这表明在10天期间有许多领先盈余（POS\\u LAG\\u COUNT）和大量重大盈余（MAX\\u INF\\u盈余PERC）的股票也具有特定的牛市与熊市强度比率。

这表明，单独而言，具有强烈积极或消极情绪的信息并不代表对未来波动性的信息；相反，在波动性或日常风险的情况下，特征的组合很重要。虽然我们可以推测导致这种行为的潜在因素，但我们注意到，这种特征关系似乎与传统的假设相矛盾，即负面情绪更能反映波动性。可以预期，波动性证券由历史负面或熊市推特引领，因为波动性与风险相关，高风险IEEE 7 | P a g计算会议201718-2017年7月20日|英国伦敦图7：集群质心特征的雷达图。在纳斯达克和纽约证券交易所，我们观察到一个集群，其中包含k={2，3，4，5，6，7}的大多数领先盈余滞后（POS\\u LAG\\u计数）和最大盈余（MAX\\u INF\\u SURP\\u PCT）。该集群中代表的重要关系是BULL\\u-BEAR的高值。是负面情绪的同义词；然而，我们的聚类结果却表明：所有情绪负荷之间的极性对于预测波动性很重要。集群的另一个值得注意的含义是，集群文件中没有与显著领先盈余相关的交易量（numberof trades）、LOG\\u RETURN和TOTAL\\u SCANNED\\u MESSAGES（MESSAGES VOLUME of MESSAGES）。虽然这些是文献中常用的特征，但在本研究中，它们并没有被证明与看涨与看跌信息的比率相关。五、 结论我们的结果表明，在纳斯达克和纽约证券交易所调查的500只股票中，社交媒体的信号可以导致很大一部分股票的每日财务波动。纳斯达克共有101只股票（40%）和纽约证券交易所的91只股票（36%）表现出统计上显著的信息盈余。

这是通过确定社会和金融时间序列之间的互信息增加而发现的。虽然我们的分析框架与早期的工作密切相关[9]，但我们的结果是新颖的。首先，通过识别大量股票中的信息盈余，我们发现社交媒体有能力在更大的市场细分中引领金融市场，而之前的研究只报告了12只股票[9]的重要提前期信息。这项工作的一个关键目标是超越社交媒体预测能力的确定，并试图确定发生这种情况的特征的配置。我们的结果显示，净情绪极性最高的股票具有最高的信息盈余。有趣的是，与其他作品相比，具有高信息盈余的股票不需要大量的消息，并且平均日志回报率也不高。为了确定这一点，我们使用PCA分析的社会和财务变量的平均表示来表征每个股票，并应用聚类算法来检查表现出最大信息盈余的股票组。综上所述，我们通过研究嵌入社交媒体的持续发展的信息源及其对金融波动的影响，对有效市场假说的概念提出了挑战。使用基于信息理论的方法，我们给出了识别出大量股票的结果，社交媒体可以为这些股票提供信息，以应对金融波动。通过基于社会和金融变量的联合特征集对股票进行聚类，我们的研究迈出了重要的第一步，描述了这种情况下的情况。

结果表明，当牛市情绪与熊市情绪的比率较高时，即使消息数量较低，社交媒体对金融市场波动的信息也最多。报告的结果可通过开源库复制，这使得本文中概述的方法可以重新用于金融情绪分析。致谢PsychSignal支持这项工作，提供社交媒体情绪分析数据。我们还感谢TomasoAste教授提供的宝贵意见。IEEE 8 | P a g电子计算会议201718-2017年7月20日|英国伦敦参考文献[1]P.C.Tetlock。满足投资者情绪：媒体在股市中的作用。《金融杂志》，62（3）：1139–1168，2007年。[2] P.C.Tetlock、M.Saar Tsechansky和S.Macskassy。不仅仅是文字：量化语言来衡量企业的基础。《金融杂志》，63（3）：1437–14672008年。[3] M.Alanyali、H.S.Moat和T.Preis。量化金融新闻与股市之间的关系。Sci。代表，2013年3月。[4] 切斯特·克鲁姆、托拜厄斯·普里斯、H·尤金·斯坦利和海伦·苏珊娜·莫特。量化股市波动前搜索行为的语义。《国家科学院学报》，2014年。[5] T.Preis、D.Reith和H.E.Stanley。不同规模经济生活的复杂动态：来自搜索引擎查询数据的见解。伦敦皇家学会哲学学报A：数学、物理和工程科学，368（1933）：5707-57119010。[6] T.Preis、H.S.Moat和H.E.Stanley。使用谷歌趋势量化金融市场的交易行为。《科学报告》，2013年4月3日。[7] 智达、约瑟夫·恩格尔伯格和彭杰高。寻求关注。《金融杂志》，66（5）：1461–14992011。[8] J.Bollen、H.Mao和X.Zeng。推特情绪预测股市。

计算科学杂志，2（1）：2011年1-8月。[9] I.Zheludev、R.Smith和T.Aste。社交媒体何时能引领金融市场？《科学报告》，2014年2月4日。[10] T.T.P.Souza、O.Kolchyna、P.Treleaven和T.Aste。推特情绪分析应用于金融：零售业案例研究。乔塔米特拉和项羽主编，《金融情绪分析手册》，第23章。2016年【11】T.T.P.Souza和T.Aste。非线性影响：社交媒体对市场价格因果影响的证据。ArXiv电子打印。http://arxiv.org/abs/1601.04535，2016年1月。[12] 爱德华多·鲁伊斯、瓦盖利斯·赫里斯蒂迪斯、卡洛斯·卡斯蒂略、阿里斯蒂德·吉奥尼斯和亚历杭德罗·詹姆斯。将财务时间序列与微博活动相关联。第五届ACM网络搜索和数据挖掘国际会议记录，第513-522页。ACM，2012年。[13] O.Kolchyna、T.T.P.Souza、P.Treleaven和T.Aste。推特情感分析：词汇法、机器学习法及其组合。金融情绪分析手册。ISBN 1910571571，2016年。[14] 精神信号。心理信号网站。https://www.psychsignal.com, 2018. 上次访问日期：2018年10月14日。[15] 菲利普·阿莱格、保罗·罗森、大卫·马歇尔和詹姆斯·摩根。使用Sturges直方图规则通过互信息提高配准的准确性和效率。过程。医学。图像理解。《分析》，第26-30页，2007年。[16] 爱德华·戴尔和乔治·J·蒋。对非流动普通股进行估值。《金融分析师杂志》，64（4）：40–472008。附录A开放源码软件包开放源码软件包的功能支持Python中的社会金融分析开发。

包括用于以下目的的工具：o历史财务记录的网络抓取o社会财务数据库的数据融合o信息盈余的测量o统计显著性测试o聚类分析o数据可视化附录B重要股票表三和表四包含显示出显著领先盈余的纳斯达克和纽约证券交易所股票。符号按字母顺序排列，列中包括最大盈余，表示为10天窗口期内基线参展商以上M I的百分比。最大滞后是该最大值出现的日期（例如，-7=一周前）。平均盈余是10天窗口期内的预期盈余。在count列中统计每天显著领先盈余大于0的情况。