楼主: 时光永痕
399 0

[数据挖掘新闻] 预先构建的分析模块推动AI革命 [推广有奖]

  • 0关注
  • 14粉丝

svip3

学术权威

12%

(VIP/贵宾)三级

48%

威望
0
论坛币
26 个
通用积分
49.7576
学术水平
4 点
热心指数
4 点
信用等级
4 点
经验
34070 点
帖子
2731
精华
0
在线时间
316 小时
注册时间
2020-7-21
最后登录
2024-4-24

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
预先构建的分析模块推动AI革命
我在博客“历史如何为我们做好准备迎接即将到来的AI革命?”中提出了这个问题。在试图了解什么历史可以教给我们有关技术引发的革命时。 工业和信息革命的关键能力之一是从劳动密集型的手工制造向大规模制造的解决方案过渡。 在信息革命中,它是标准化数据库管理系统,中间件和操作系统的创建。 对于工业革命,是创建标准化零件(例如?”螺栓),该零件可用于组装和手工解决方案。 那么,AI Revolution的?”螺栓等效值是多少?  我认为答案是分析引擎或模块!
分析模块是预构建的引擎(如乐高积木),可以组装以创建特定的业务和运营应用程序。 这些分析模块将具有以下特征:
预定义的数据输入定义和数据字典(因此,无论源系统的来源如何,它都知道要摄取的数据类型)。
预定义的数据集成和转换算法,以清理,对齐和规范化数据。
预定义的数据丰富算法,以创建分析模型所需的更高阶指标(例如,覆盖率,频率,新近度,索引,分数)。
算法模型(使用预测分析,机器学习或深度学习等高级分析工具构建),该模型将获取经过转换和丰富的数据,运行该算法模型并生成所需的输出。
Predictive Analytics,机器学习和深度学习框架之上的抽象层(可能使用Predictive Model Markup Language或PMML [1]),使应用程序开发人员可以选择/使用其首选的或公司强制性的标准。
业务流程能够根据要解决的问题类型“调用”最合适的机器学习或深度学习框架。请参阅Keras,这是一个高级神经网络API,使用Python编写,并且能够在TensorFlow,CNTK或Theano等流行的机器学习框架之上运行。
预定义的输出(API),将分析结果馈送到下游的操作系统(例如,操作仪表板,制造,采购,市场营销,销售,支持,服务,财务)。
分析模块可产生预定义的分析结果或结果,同时提供一层抽象,使基础机器学习和深度学习框架能够进行编排和优化。
使用分析模块将物联网货币化
BCG洞察力报告题为“在物联网中获胜:这是业务流程的全部内容”,重点介绍了将推动物联网支出的十大物联网用例,包括预测性维护,自我优化的生产,自动化库存管理,车队管理以及分布式发电和存储(参见图1)。
图 1: 将推动物联网市场增长的十大物联网用例
但是,这些物联网应用程序将不仅仅是监视正在发生的事情的报告和仪表板。 他们将是“智能的” –在每次交互中都进行学习,以预测可能发生的情况,并采取纠正措施以防止代价高昂,不希望的和/或危险的情况–以及组织自我监控,自我诊断,自我纠正的基础和自学的物联网环境。
尽管这是针对的物联网应用程序非常吸引人的清单,但是将这些用例中的任何一个都视为一个应用程序是一个巨大的错误。 这就像ERP,MRP和CRM时代的大爆炸式IT项目的回归一样,在那里花费了数千万美元,希望在2-3年后实现一些有价值的东西。
取而代之的是,这些物联网“智能”应用程序将包含集成的分析模块,以解决这些物联网智能应用程序需要解决的关键业务和运营决策。 例如,将预测性维护视为分析模块的集合,这些模块可解决以下预测性维护决策,包括:
识别有风险的组件故障预测。
优化资源调度和人员配置。
使技术员和库存与要执行的维护和修理工作相匹配。
确保工具和维修设备的可用性。
确保首次修复优化。
优化零件和MRO库存。
预测组件的可修复性。
优化零件,工具和技术人员的物流。
利用同类群组分析来提高服务和维修的可预测性。
利用事件关联分析来确定天气,经济和特殊事件如何影响设备和机器的维护与维修需求。
正如我所涵盖的博客“未来是智能应用程序, ”创建智能应用程序的唯一方法是让与识别,验证启动预防性维护假设开发过程中,重视和决定的优先有条不紊的方法(或使用包含这些智能应用程序的案例)(请参见图2)。
图 2: 像数据科学家一样思考
当您通过“像数据科学家一样思考”流程来吸引业务和运营利益相关者来发现那些决策时,只有创建满足特定高级分析和运营数据要求的分析模块来支持这些运营决策才有意义。因此,如果使用现代DevOps方法和功能构建这些分析模块,则可以像乐高积木一样链接在一起以创建这些智能IoT应用程序。
物联网分析模块
物联网分析模块的一个示例是异常检测。 异常检测是对不符合预期模式或数据集中其他项目的项目,事件或观察结果的识别(请参见图3)。
图 3: 异常检测示例
当正常行为的实质性变化可能表明存在有意或无意的攻击,故障,缺陷等时,就会发生异常检测。 可以使用多种不同的机器学习技术来帮助标记和评估检测到的异常的严重性,包括:
k最近邻(k-NN):在模式识别中,k最近邻算法是用于分类和回归的非参数方法。
神经网络:一系列算法,通过使用互连节点的层来识别数据中的基础关系。神经网络具有适应变化的输入的能力,因此该模型可以产生最佳结果,而无需重新设计输出标准。
决策树:决策支持工具,使用树状图对决策及其可能的后果(包括偶然事件结果,资源成本和效用)进行建模。
支持向量机:在机器学习中,支持向量机是有监督的学习模型,用于分析用于分类和回归分析的数据。
自组织图:一种人工神经网络(ANN),使用无监督学习对其进行训练,以生成训练数据的二维图,以帮助降低维数。
k均值聚类:k均值聚类将n个观察值划分为k个簇,其中每个观察值均属于具有最均值的簇。
模糊C表示:模糊聚类是一种聚类形式,其中每个数据点可以属于多个聚类。
Expectation-Maximization Meta:在统计模型中找到参数的最大似然或最大后验(MAP)估计的迭代方法。
自适应共振理论(ART)是一种特别用于获得异常检测牵引力的技术。 ART是一种已广泛用于检测网络入侵的技术。在管理网络时,异常通常是恶意入侵尝试,对网络安全构成了严重威胁。
实际异常检测案例研究
发电设施和工业工厂需要通过根据燃料和原材料的批次变化,设备的老化恶化等来优化运行条件,以最大化运行效率。日立与Universiti Teknologi PETRONAS共同开发了利用高级异常检测的高效运营支持技术,用于检测设备和运行异常的工业工厂。
对于基于初始条件的常规异常诊断技术,由于正常运行范围内的波动也被确定为“异常”,因此很难将这些技术应用于每天可能会改变的条件。
但是,日立的新开发技术采用了称为自适应共振理论(ART)的顺序学习型数据分类技术。由于ART可以告知系统与多种操作状态相对应的“正常”条件,因此可以准确地检测到异常(请参见图4)。
图 4:使用自适应共振理论(ART)进行异常检测
蒸馏塔的中试装置是原油精炼厂中使用的关键设备,用于验证系统。即使当原料的成分改变时,也证明可以检测到流量调节阀故障和传感器漂移等异常情况。
有关此日立案例研究的更多详细信息,请查阅日立研究与开发小组的“工业工厂高效运营支持技术”论文。
概要
分析模块不仅是简化智能物联网应用程序开发的一种方法,而且还提供了一种通过在众多物联网用例或应用程序中重复使用相同模块来货币化其分析功能的方法。 例如,如图5所示,可以在许多不同的IoT用例或应用程序中使用异常检测模块。
图 5: 跨多个IOT用例的货币化异常检测分析模块
该特定分析模块的有效性的任何改进都会立即为该分析模块支持的所有其他用例带来经济价值。 发生这种情况时,组织不仅在推导并推动其物联网数据的经济价值,而且还在推导并推动其物联网分析的经济价值。
正如我们在旧金山大学关于数据的经济价值的研究项目中所发现的那样,我们才刚刚开始了解如何通过重用将我们的数字资产货币化,或者如亚当·斯密(Adam Smith)所说,“使用价值”与“价值交换。”
题库
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:maximization expectation Predictive Universiti Revolution

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-28 11:43