投资组合优化的大数据分析框架

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《A Big data analytical framework for portfolio optimization》
---
作者：
Dhanya Jothimani, Ravi Shankar, Surendra S. Yadav
---
最新提交年份：
2018
---
英文摘要：
  With the advent of Web 2.0, various types of data are being produced every day. This has led to the revolution of big data. Huge amount of structured and unstructured data are produced in financial markets. Processing these data could help an investor to make an informed investment decision. In this paper, a framework has been developed to incorporate both structured and unstructured data for portfolio optimization. Portfolio optimization consists of three processes: Asset selection, Asset weighting and Asset management. This framework proposes to achieve the first two processes using a 5-stage methodology. The stages include shortlisting stocks using Data Envelopment Analysis (DEA), incorporation of the qualitative factors using text mining, stock clustering, stock ranking and optimizing the portfolio using heuristics. This framework would help the investors to select appropriate assets to make portfolio, invest in them to minimize the risk and maximize the return and monitor their performance.
---
中文摘要：
随着Web 2.0的出现，每天都会产生各种类型的数据。这引发了大数据革命。金融市场中产生了大量结构化和非结构化数据。处理这些数据可以帮助投资者做出明智的投资决策。在本文中，我们开发了一个框架，将结构化和非结构化数据结合起来进行投资组合优化。投资组合优化包括三个过程：资产选择、资产权重和资产管理。该框架建议使用五阶段方法实现前两个过程。这些阶段包括使用数据包络分析（DEA）入围股票、使用文本挖掘合并定性因素、股票聚类、股票排名和使用启发式优化投资组合。该框架将帮助投资者选择合适的资产进行投资组合，对其进行投资以最小化风险和最大化回报，并监控其表现。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：General Finance        一般财务
分类描述：Development of general quantitative methodologies with applications in finance
通用定量方法的发展及其在金融中的应用
--

---
PDF下载：
--> A_Big_data_analytical_framework_for_portfolio_optimization.pdf (377.85 KB)

2022-6-11 03:59:07 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：投资组合优化 大数据分析 投资组合 数据分析 分析框架

投资组合优化的大数据分析框架（于2014年6月6日至7日在香港香港城市大学国际金融前沿会议期间，在互联网和大数据金融研讨会（WIBF 14）上提出）可在以下网址获得：http://epic.is.cityu.edu.hk/WIBF14/docs/WIBF14Papers/wibf14_submission_14.pdfA投资组合优化大数据分析框架dhanya Jothimani、Ravi Shankar和Surendra S.Yadav印度理工学院管理研究系德里{dhanya.Jothimani，ravi1，ssyadav}@dms。iitd。ac.I摘要。随着Web 2.0的出现，每天都会产生各种类型的数据。这引发了大数据革命。金融市场中产生了大量结构化和非结构化数据。处理这些数据可以帮助投资者做出信息投资决策。本文开发了一个框架，将结构化和非结构化数据结合起来，用于投资组合优化。投资组合优化包括三个过程：资产选择、资产权重和资产管理。该框架建议使用5阶段方法实现前两个过程。这些阶段包括使用数据包络分析（DEA）进行短期股票上市、使用文本挖掘合并定性因素、股票聚类、股票排名和使用启发式优化投资组合。该框架将帮助投资者选择合适的资产进行投资组合，对其进行投资以最小化风险和最大化回报，并监控其表现。关键词。投资组合优化、大数据、Hadoop、DEA、股票选择1。简介近年来，大数据越来越受欢迎，并已成为热门词汇。

然而，现在还需要理解什么是“大数据”。大数据是指以非结构化数据的形式不断生成的大数据，这些数据由从社交网络到科学计算应用程序等各种异构应用程序组生成。数据集的大小从几百GB到TB不等，超出了现有数据管理工具的容量，这些工具可以捕获、存储、管理和分析数据[1]。大数据具有以下维度的特点：体积、速度、多样性、可变性、复杂性和低值密度[2]。随着Web 2.0技术的出现，产生了各种类型的数据，即结构化、半结构化和非结构化数据[3]。在大数据时代，资本市场公司面临的主要挑战之一是处理数据生成的速度，考虑到投资银行等金融服务中非结构化数据的生成。纽约证券交易所（NYSE）和纳斯达克（NASDAQ）已使用IBM Netezza等大数据应用程序来存储和处理来自不同来源的大数据。资本市场公司使用大数据技术来缓解风险（欺诈缓解、ondemand企业管理）、监管、交易分析（高频交易、预交易决策）和数据标记[4]。在不确定的市场条件下，采用大数据技术和预测分析的公司比其他公司具有优势。在金融学中，投资组合被定义为资产的集合。资产范围从股票、债券到房地产。随着马科维茨（Markowitz）[6]的开创性工作，投资组合优化已经成为一个研究课题。

投资组合优化是持有一组金融资产以满足投资者各种标准的投资决策过程。一般来说，标准是最大化回报和最小化风险。本文的工作范围仅限于股票分析。投资组合优化包括三个主要步骤：资产选择、资产权重和资产管理。本文提出了一个框架来集成非结构化和结构化数据，以做出明智的投资决策。本文的设计如下。第2节讨论了portfoliooptimization的拟议框架，然后是第3节中的预期结果。结论见第4.2节。拟议框架拟议的投资组合优化框架可以用五步过程来解释：（a）数据包络分析（DEA），（b）选定股票的验证，（c）股票聚类，（d）股票排名，和（e）优化。某一特定证券交易所的所有上市公司都被视为该框架的初始输入，其输出将是一组股票，这些股票将使回报最大化，风险最小化。portfoliooptimization的抽象框架如图1所示。DEA通过识别有效企业来缩小企业的样本空间。为了验证这些公司是否是投资组合优化的潜在候选人，使用文本挖掘技术从在线新闻文章和推特中检索和处理有关公司的最新信息，以了解当前环境下对公司的看法。经过验证的高效公司被聚集到不同的群体中，以帮助投资组合的多样化。

接下来是对每个集群内的股票进行排名，然后使用优化算法对资产进行加权。第2.1节至第2.5节对每个过程进行了说明。图1：投资组合优化框架2.1数据包络分析数据包络分析（DEA）是一种非参数线性规划，它根据给定的一组输入和输出计算决策单元（DMU）的效率得分。得分为1的DMU被认为是有效的[7]。DEA除了在制造学科中的适用性外，还可以用于库存选择。在这种情况下，股票形成了theDMU。根据之前的研究【8，9】，可以考虑四个输入参数，即总资产、总权益、销售成本和营业费用，以及两个输出参数，即净销售额和净收入。这些数据可以从彭博社等标准数据库获得。下一阶段将考虑效率得分为1的股票。2.2 Hadoop情感分析框架此阶段涉及使用HadoopMapReduce处理频繁生成的非结构化数据。这一步是对前一阶段的补充。选举、管理层更迭和股息宣布等事件会对市场情绪产生影响，但定量分析无法捕捉到这一点。作为第一步，检索高效公司的在线新闻文章和推特。推文可以通过推特API获得，但限制为1500条推文。Hadoop MapReduce的易用性、可扩展性和故障切换特性使其成为高效处理大数据的常用工具[10]。推特和新闻文章使用文本挖掘进行处理，以获得对公司的积极和消极情绪。

Hadoop MapRaduceinfrastructure加快了分布式文本挖掘过程。图2显示了用于分布式文本挖掘的MapReduceframework。如图所示，公司推文和新闻文章分布在不同的地图处理器之间，以生成中间数据。此中间数据由Reduce处理器处理，以给出聚合结果。下一阶段将选择情绪积极的公司。图2:Hadoop分布式文本挖掘框架2.3股票集群在这一阶段，计算股票收益的相关系数。根据这些相关系数，股票被分配到不同的集群。集群的数量越大，多样化程度就越高。聚类数和聚类质量的目标是最大化聚类内的相似度，最小化聚类间的相似度。可以使用各种聚类算法，如k-means聚类或Louvian聚类[11]。这一过程通过股票多样化来降低投资组合风险[12]。这些结果集群可以由具有类似商业活动或实际规模的公司组成。2.4库存等级应从每个集群中选择适当的库存。可以使用人工神经网络（ANN）对每个集群中的股票进行分类【13】。直到前一阶段，只考虑了企业的内部因素。在此阶段，可以考虑国内生产总值（GDP）增长率和利率等外部因素[12]。人工神经网络是一种信息处理模型，它由三层组成：输入层、隐藏层和输出层。人工神经网络的输入可以是GDP增长率和利率，输出可以是未来的投资回报。

这将导致对集群中的股票进行排名。2.5优化前一阶段的假设是，投资者可能会从每个集群中选择顶级股票。但仍然存在的问题是：每只股票投资多少？之前的研究[12]认为简单（等）股票权重法是一种原始方法，用于在股票之间分配资源。因此，应优化排名的库存，以实现回报最大化和风险最小化。现阶段可以使用马科维茨的均值-方差模型[6]。可以使用各种启发式优化算法，如粒子群优化（PSO）、蚁群优化（ACO）和遗传算法（GA）。在这一阶段结束时，将形成投资组合中的股票分布。将向投资者推荐表现最好的三个投资组合。3、预期结果除了让投资者做出明智的投资决策外，这个框架对天真的投资者也很有用。该框架的预期结果是生成符合投资者标准的投资组合：最小化风险，最大化回报。DEA的第一阶段将产生一组潜在的港口组合优化库存。使用文本挖掘（textmining）分析与这些结果公司相关的当前信息，以获得对该公司的看法。情绪分析给出了公司的定性方面。利用收益的相关系数，将前一阶段产生的股票分为不同类别。这导致了股票的多样化。对股票进行排名，以便从每组中选择合适的股票。

在整个过程结束时，将向投资者提供前三大投资组合建议，以便他们可以从这三个投资组合中选择一个。结论该框架试图整合数据库中的结构化数据（股票价格、资产负债表数据等）和在线新闻文章和推特中的非结构化数据。将定性因素（公司管理等）与定量因素（财务比率）相结合，可以为投资组合的形成提供更好的选择。通过k均值聚类和人工神经网络，资产具有良好的多样性。使用optimizationheuristics获得的前三大投资组合建议为投资者提供了选择适合其风险状况的适当资产的灵活性。该模型可以应用于任何股票市场数据。该框架的效用仅限于股票分析和投资。DEAis建议的参数基于之前的研究。在框架的最后阶段，可以使用风险价值和下行风险度量等其他风险度量，而不是方差作为风险度量。参考文献[1]X.Qin、H.Wang、F.Li、B.Zhou、Y.Cao、C.Li、H.Chen、X.Zhou、X.Du和S.Wang，“超越RDBMS和MapReduce的简单集成——为大数据分析的自动化系统铺平道路：愿景和进步”，《2012年第二届云与绿色计算国际会议记录》，CGC\'12，（美国华盛顿特区），第716-725页，IEEE计算机学会，2012年。[2] N.S.Sachchidanand Singh，“大数据分析”，摘自2012年通信、信息与计算技术国际会议（ICCICT），第1-4页。[3] M.Minelli、M.Chambers和A。

Dhiraj，《大数据、大分析：当今企业的新兴商业智能和分析趋势Wiley CIO系列》）。WileyPublishing，Hoboken，新泽西州，第1版，2013年。[4] R.Verma和S.R.Mani，“资本市场中大数据技术的使用”可在线访问：http://www.infosys.com/industries/financialservices/whitepapers/Documents/big-dataanalytics.pdf，2012，查阅日期：2014年4月2日。[5] M.Peat，“金融中的大数据”，《金融：Finsia成员杂志》，第127卷，第1期，第34-36页，2013年。[6] H.Markowitz，“投资组合选择”，《金融杂志》，第7卷，第1期，第77-911952页。[7] W.Cooper、L.Seiford和J.Zhu，“数据包络分析：历史、模型和解释”，《数据包络分析手册》（W.W.Cooper、L.M.Seiford和J.Zhu编辑），运筹学与管理科学国际丛书第71卷，第1-39页，美国斯普林格出版社，2004年。[8] H.-H.Chen，“使用数据包络分析进行股票选择”，《工业管理与数据系统》，第108卷，第9期，第1255-12682008页。[9] 陈永胜和陈伯胜，“应用DEA、MPI和灰色模型探讨台湾晶圆制造业的经营绩效”，《技术预测与社会变革》，第78卷，第3期，第536-5462011页。[10] J.Dittrich和J.-A.Quian -Ruiz，“hadoop mapreduce中的高效大数据处理”，eProc。VLDB Endow。，第5卷，2014-2015页，2012年8月。[11] V.Blondel，J.-L.Guillaume，R.Lambiotte和E.Lefebvre，“大型网络中社区的快速展开”，《统计力学杂志：理论与实验》，第10008页，2008年。[12] N.Koochakzadeh，一种基于数据挖掘技术的启发式股票投资组合优化方法。

卡尔加里大学计算机科学系博士论文，2013年3月。[13] T.Ware，“股票排名模型的自适应统计评估工具”提交：加拿大工业问题解决研讨会（2005年5月15日至19日，加拿大卡尔加里）。