发帖
雷达卡
“流式分析，正如'流'这个词所暗示的那样，意味着我们将分析带到我们所谓的'事件流'中，”Nevala 继续说道。简而言之，事件流是低延迟、高吞吐量的数据流，通过以下方式产生洞察力应用分析当数据“在流中”时。传统上，数据在被分析之前被捕获和存储，然后从分析中产生的见解被推出。在流式分析中，模型或算法用于在数据存储之前分析传入的数据。这个过程提供了“查询信息并确定数据是否有意义以及价值是什么的能力，以便我们明确知道要存储哪些数据，以及为什么以及何时存储，”她说。
为什么选择流式分析
组织面临越来越大的挑战，要缩短从获得洞察到采取相关行动的时间，并以一种对环境做出响应的敏捷方式持续不断地这样做。内瓦拉指出：
“这种敏捷性和响应能力需要一种不同的方法——不仅能够摄取数据，而且能够非常、非常快速地实际开发和应用洞察力。. . 我们可以持续评估和应对机会，避免或应对风险。”
Nevala 说，随着越来越多的人与设备交互——并且这些设备相互连接——在当下对事件或煽动项目做出全面反应的能力变得越来越重要。
提供实时频谱
流式分析是从“被动”的转变实时处理“主动”实时处理。传统上，实时决策是由预先定义的一组操作（例如购买、支付或某种类型的系统故障）触发的，并且实时响应来自某种预先定义的操作说明。“我们正在等待一些事情发生，”内瓦拉说。流式分析相反，事件流处理在数据存储之前不断分析动态数据。这包括评分、数据操作、规范化和清理等操作。最重要的是，该过程专注于模式检测或模式变化。
“这就是为什么流分析在欺诈或网络安全等方面如此重要的原因，事实上，我们不知道下一步行动是什么，或者某人下一步将如何攻击，”Nevala 解释说。“但我们实际上可以开始寻找正常行为的差异，并利用这些模式的变化来告诉我们正在发生一些事情。”
物联网的影响
内瓦拉引用了一个麦肯锡数字估计物联网（物联网）到 2025 年将带来 11 万亿美元的收入和商业价值，“因此这里的前景和潜力是巨大的。” 然而，在实践中，物联网的承诺并不容易实现。仅仅生成大量数据是不够的。从新兴中创造价值人工智能等趋势她说，机器学习需要从物联网数据中获得新的见解，并将物联网数据与产品数据、客户数据和其他各种格式的来源对齐和整合。
物联网数据的传输和存储成本很高，而且由于收集的数据量很大，因此需要一种策略才能存储它。由于传感器数据几乎可以描述任何东西，因此其多样性超出了“结构化”和“非结构化”数据的简单分类。“因此，存储可能被视为一种商品，但考虑到数据的数量和速度，这种成本变得不可持续，”Nevala 说。
流式分析：四个关键指标
如果仅靠更多数据不能转化为价值，那么辨别哪些数据是重要的就变得至关重要。例如，知道汽车即将发生故障可能会有所帮助，但在汽车发生故障之前拥有修复汽车所需的信息提供了真正的价值。
Nevala 概述了流式分析可以在创造价值方面发挥作用的四种情况。
极低延迟：当极低延迟响应至关重要时，例如机器故障可能是灾难性的、欺诈检测或潜在的网络攻击。
高吞吐量数据：流式分析有利于利用大数据和高吞吐量数据进行实时风险检测。
当数据存储不切实际时：当无法存储大量数据或无法实现最佳存储时，流分析可以标准化传入数据，确定其是否相关，如果不相关，则可以丢弃事件和相关数据而无需采取任何措施提高处理带宽。
当情境意识至关重要时：当组织需要根据情境意识采取快速、适当的行动时。
新的分析范式：流-理解-行动
传统上，数据被捕获、存储并通过某种 ETL 过程在一个数据仓库，或者在某些情况下，进入湖中。针对该数据应用报告和分析工具以获得洞察力，并将该洞察力反馈到业务流程中。
Nevala 说，新的范式并不需要摆脱原来的数据管道。相反，重要的是要以不同的方式思考如何部署分析模型. 对事件流本身应用高端分析并不排除查看离线数据以识别新兴趋势的能力。物联网数据或实时交易数据可以与传统数据源相结合，以提供实施分析所需的上下文。
用例：预测性资产维护
“用于部署高级分析技术的流式分析确实推动了组织的价值，”Nevala 指出，预测资产管理是流式分析的首批用例之一。例如，石油平台需要水下监控，以避免服务中断并优化油田的生产。她估计，一台故障泵每天可能造成 200 万美元的损失，递延收入影响每天接近 2000 万美元。当一个阀门或泵发生故障时，需求可以自动卸载到其他区域。
用例：预测性患者管理
Nevala 说，另一个用例是在医疗保健领域，临床上可观察到的症状有时并不明显，直到为时已晚。流式分析可以实时检测患者体内发展的相关模式，然后该信息可用于提醒重症监护团队。
这里重要的是能够避免所谓的“警报疲劳”，因为全天有大量的传感器和警报。“即使对于医疗专业人员来说，也很难辨别哪些事情是最重要的。” 来自这些传感器的患者生命统计数据现在可以与传入的实验室结果、患者病史和其他数据相关联，然后可用于根据检测到的模式触发行动。触发的操作可能是通过电子邮件或 SMS 向患者的护理团队发送消息，使他们能够在正确的时间提供正确的护理。流式分析还被用于在观察到临床症状之前 24 小时检测和治疗新生儿重症监护中婴儿的危及生命的感染。
用例：上下文客户体验
分析方面的进步通常是出于通过提供更多实时上下文来改善客户体验的愿望。Nevala 谈到了流分析对电信提供商的影响。通过实时结合客户记录、网络数据和基于地理的数据，该公司能够根据网络使用情况、内容编程和推荐提供营销服务。结果，他们能够将报价接受度提高十倍并减少客户流失。在上下文中实时执行此操作的能力允许公司通过在客户使用服务时吸引他们来更及时和更相关 - “当他们感兴趣并且可能成熟时提供或升级，”她说。
用例：互联国家
荷兰是欧洲人口密度最高的国家之一，该国 20% 的土地实际上位于海平面以下，超过 50% 的国土低于海平面一米。在这样一个洪水多发的环境中，交通基础设施管理至关重要。因此，近 14,000 名政府雇员致力于监测道路、桥梁、隧道和水道的任务。为了帮助管理和优化运输流程，他们依赖于桥梁传感器发送的流数据的实时分析。她说，员工使用这些数据来安全地改变灯光的工作方式、管理打开和关闭的洪水通道以及改变方向。
把它们放在一起
Nevala 强调，从技术中获得的见解应该用于为业务流程提供信息并支持将提高绩效的运营变更。她谈到了对工作、角色和责任可能需要如何发展的心态改变持开放态度，不仅在数据和分析团队中，而且在业务本身的运作方式方面。主动管理必要的业务变化最终将缩短流分析投资的价值实现时间。
“与所有其他类型的分析一样，这里的价值在于行动，”内瓦拉总结道。“这不仅仅是 [只是] 开发洞察力或检测事件 - 它是在理解，'我们需要做什么？'”
相关帖子DA内容精选
|
京公网安备 11010802022788号
