【数据分析师支招】九大最适合实时数据分析的应用领域

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

                    九大最适合实时数据分析的应用领域

                                                                                          【数据分析师支招】

       如今整个商业世界都面临着新的难题，即如何处理来自各客户接触点、交易以及互动对象的大量数据。但与此同时，我们也看到了解决问题的曙光——实时数据流技术，其能够存储大量数值及历史数据，以备日后随时调用。

       可能很多朋友还没有接触过大数据分析方案，也有人认为其仅仅算是个愿景而非现实——毕竟能够证明其可行性与实际效果的案例确实相对有限。但可以肯定的是，实时数据流中包含着大量重要价值，足以帮助企业及人员在未来的工作中达成更为理想的结果。

实时分析用例

众多行业及工作都能够从数据流处理方案中获得助益。数据流能够通过管理数据实时变化迅速建立起形势判断，并帮助企业以最快速度收集来自传感器(包括GPS与温度计等)、摄像头、新闻消息、卫星、股票行情、网络爬虫、服务器日志、Flume、Twitter、传统数据库甚至是Hadoop系统的数据，最终将其转化为能够提升企业业绩的决策工具。

话虽如此，但实时数据分析结论带来机遇的同时也充满挑战，意味着管理层或者负责人员需要采取准确的数据提炼模式才能将其转化为可靠的决策依据。一般来讲，实时数据分析方案需要立足于专业知识并配合业务洞察力，方能真正实现最优决策与响应提速。而且更重要的是，分析结论除实时性质之外还需要被确切交付至相关者手中。

医疗卫生与生命科学：

• ICU监控 – 高效监控机制，主动及时关注重症监护病人。
• 远程医疗监控 —远程医疗监控能够简化医护人员访问并分析病患医疗记录的流程，从而确保病人得到有效诊疗并降低不必要的成本。
• 临床试验与医疗设备数据 — 临床数据流分析能够顺利识别出异常或者预料之外的行为或者表现，从而辅助做出更准确的诊断意见。换言之，其有助于检测疾病的早期迹象，识别多名病患间的关联性并量化特定治疗手段的实际功效。
• 疫情预警系统 — 实时传感器数据分析有助于检测传染病的暴发可能性，并通过早期预警系统提示预防及准备。
  

保险业

• 欺诈检测
• 提升案例管理效率
• 检查策略针对性
• 策略绩效评估
• 更好地预测未来走向，并据此做出产品设计、开发与交付
• 对产品价格做出细化区分
• 根据当前销售趋势做出销售预测分析
• 通过实时尽职性调查剔除不合格保险案例
  

电信运营商

电信运营商能够深入了解客户行为并提供定制化服务(例如基于位置的服务、优惠政策及产品建议等)，并分析客户的忠诚度、喜好及需求变化趋势。以此为基础，运营商将能够改进计费标准、提升服务质量、改善安全性并控制欺诈活动。

能源行业

• 实时数据分析在能源行业中的一大典型案例在于智能化电网。其将以实际使用情况为基础显著提升能源供应效率。
• 根据特定条件预测设备活动。
• 检测多设备阈值级别以降低故障影响。
• 通过对勘探及生产数据的实时分析降低现场人员的工作风险。
  

电子商务

• 客户分析
• 购买建议
• 根据社交媒体情绪分析控制事故或进行修正
  

运输行业

• 通过GPS实现实时追踪
• 智能化交管方案以降低高峰时段的路线拥堵情况
• 即时与自动远程信息处理，实现车辆联网
  

投机市场

• 情绪分析
• 动量计算
• 天气对股市及股票价格的影响
• 极低延迟实现市场数据分析
  

执法领域

• 
• 智能警务(传感器、闭路电视安装并接入中央云数据库、车牌识别、语音识别、犯罪嫌疑人及罪犯GPS追踪等)
• 监控并识别异常活动、行为或事故，旨在加快决策制定速度并防止及减少犯罪事件
• 刑事调查
• 监控各执法机构及公众间交互
  

技术领域

• 网站流量分析与参与(最常浏览页面、浏览时长最高页面、访客行为及用户导航模式等)
• 移动应用——下载、会话、偏好、交易、使用模式等，有效分析客户行为并设计服务以提升使用感受
  

实时数据处理的挑战所在

实时事件/交易/交互数量每秒以百万计，由此产生的数据自然会给数据流处理系统造成巨大的压力。即使数据已经收集完成，系统仍然需要具备强大的能力以并行处理这些数据。之后是进行事件关联，旨在帮助我们从数据中提取有价值信息。除此之外，整套系统还需要具备容错性与分布式设计——这意味着系统需要拥有低延迟水平以及速度更快的计算机制以完成实时响应任务。

如何实现

为了满足以上各项苛刻条件，我们需要将大量工具加以结合。其中Apache Kafka负责收集数据流，并通过Apache Storm或者Apache Spark(基于具体系统需求)将其路由至HIVE/HDFS，接下来由分析引擎提取结论并将其发送至仪表板。

如何简化实现流程

来自任何来源的数据都会由Kafka集群负责收集与暂时存储，而Zookeeper——>中继——>主题分类机制则随即跟上。而后其会通过Storm或者Spark被发送至HIVE/HDFS，并由后者再传递至分析引擎(例如SAS VA)——这一切都以实时方式完成，结论则被推送至仪表板供用户理解及据此行动。

最后，为了充分发挥实时数据分析的潜能，企业之间还需要通力协作。大数据领域的经验证明，合作伙伴之间的配合是实现分析的前提条件。最后，各合作伙伴还需要广泛接触各垂直行业，从而理解其中的具体业务及错综复杂的相关要素。

因此，选择理想的合作伙伴亦左右着实时分析项目的最终命运。

总结

多数企业都拥有大量最终用户接触点，而当下对此类组织以及ZF机构而言可谓决定性时刻。通过即时了解当前状况，各组织机构将能够让自己的工作更加富有成效——而实时数据分析方案则给了它们一个将理想转化为现实的选项。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏3 回帖

关键词：数据分析师 数据分析 应用领域 分析师 Apache Spark 数据分析师支招 九大最适合实时数据分析的应用领域 数据分析师

你永远不要假定这个世界是真空的，所以你还需要多多观察频繁出现的新数据。当有新的数据出现时，以往的经验就需要重新做评估了。

数据分析工作，在绝大部分情况下的目的在于用统计学的手段揭示数据所呈现的一些有用的信息，比如事物的发展趋势和规律；又或者是去定位某种或某些现象的原因；也可以是检验某种假设是否正确（心智模型的验证）。因此，数据分析工作常常用来支持决策的制定。

数据分析这个岗位可以说很宽泛很杂，从数据录入员到行业分析师专家都可以认为是数据分析，甚至一些搞数据挖掘、人工智能的都可以包括到数据分析的范畴里，但是这些工作所做的事情却相差甚远，当然待遇也天壤之别。所以大家在应聘时不要只看岗位名称，重要的是看看清岗位职责和要求。

数据分析很多情况下需要用到成型的分析工具，比如EXCEL、SPSS，或者SAS、R。一个完全不懂编程，不会敲代码的人完全有可能是一名好的数据分析师，因为一般情况下OFFICE包含的几个工具已经可以满足大多数数据分析的要求了。很多的数据分析人员做的工作都是从原始数据到各种拆分汇总，再经过分析，最后形成完整的分析报告。当然原始数据可以是别人提供，也可以自己提取。

我看到很多数据从业者在网络上聚集、交流。虽然目前全国范围数据圈子并不大，目前的需求量也比较小，大多数据人都只能在一二线城市寻觅工作机会。但我也感觉到越来越多的数据分析、数据挖掘的群体在不断壮大，招聘网站相关岗位也越来越多，招聘要求也越来越靠谱，说明数据工作逐渐在成为一个为大众所接受和熟知的职业，相信几年以后，数据分析师会像HR、会计、程序员一样成为企业普遍需要的职位。

“大数据”是当前的时髦术语，是技术界用来解决世界上最难处理的问题的全能办法。这个术语一般用来描述对海量信息进行分析，从而发现规律、收集有价值的见解和预言复杂问题答案的技巧与科学。它也许听起来有些乏味，但是从制止恐怖分子，到消除贫困，到拯救地球，对于大数据的鼓吹者来说，没有什么问题是解决不了的。

在一定程度上是的。大数据可以提供帮助改善我们城市的宝贵见识，但是它对我们的帮助仅此而已。因为数据在生成或采集的过程并不都是平等的，大数据集存在“信号问题”———即某些民众和社区被忽略或未得到充分代表，这被称为数据黑暗地带或阴影区域。因此大数据在城市规划中的应用在很大程度上取决于市政官员对数据及其局限性的了解。

“大数据”所代表的是当今社会所独有的一种新型的能力——以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见。这种“前所未有的”巨大价值和深刻洞见，并不仅仅来自于单一数据集量上的变化，而是不同领域数据集之间深度的交叉关联,姑且称之为“跨域关联”。

股票设计好的模型还是很难