[数据挖掘新闻] 机器学习中Scrum的关键概念 [推广有奖]

机器学习中Scrum的关键概念
这些天数据无处不在。自出生以来，人类就一直在感知，加工和利用它。现在，机器也可以感知。
近年来，数据量呈指数级增长（现在达到EB = 10 ^ 6 x TB！），并结合了多种数据的可用性（例如人口统计，交易，社交等）。这种规模和复杂性超出了人类直接处理的自然能力。
Scrum机器学习
机器学习（ML）是急需解决的领域，可以有意义地处理大量数据。它基于统计数据-已有几个世纪的历史了；区别在于机器不对数据做任何初始假设，而是自动尝试并从数据中学习。
随着技术领域和相关服务的不断发展，人们的期望与日俱增。行业需要适应，做出快速而准确的决策。
在这里，敏捷Scrum流程已在全球范围内普及。
虽然企业已经熟悉了新流程，但它在ML中的应用（以及对结果的接受）仍处于新生阶段。
在本文中，提出了一种对ML步骤进行打乱的方法，即在协作冲刺中进行结构化和排序，从而导致业务接受。
机器学习步骤
在机器学习中，我们首先试图通过查看可用数据来定量地回答相关的业务问题。例如：
观察结果的主要贡献者是什么？各自的影响是什么？
分析的置信度是多少？
建议采取什么措施？
练习中涉及的典型顺序步骤如图1所示。
Scrum机器学习步骤
这里的挑战不仅是数据的数量和种类（例如，非结构化文本），还在于它的传入速度（可能会不断变化，例如实时）。此外，数据中的差异（缺失值，离群值），功能受限等进一步阻碍了准确的分析和假设验证。
换句话说，上述步骤需要与业务部门紧密合作，以不断验证增量结果的准确性。
概括地说，有两种方法可以克服上述挑战。
首先，在前一个步骤完全完成之前，请勿移至后续步骤。或者，第二，在单个迭代中广泛地完成步骤（例如，使用整个数据的一小部分），然后逐步完善。
后者的优势是可以预测旅行过程中的中间结果；因此，最好。
构建冲刺
敏捷Scrum为每个增量提议时间限制的持续时间，称为Sprint。
它由团队内部的常规联系组成，以分析数据，构建和完善模型，创建仪表板并对其进行修改，最后提出可行的见解和建议。
这个想法的目的是构造一个冲刺，使其涵盖所有机器学习步骤，同时将持续时间的固定部分分配给每个步骤；然后，在冲刺中逐步修改这些部分。
举个例子，考虑一个餐饮连锁店，它想分析哪些因素促成其销售并发展准确预测这一因素的能力。
在这里，EDA将主要探索因素，例如餐厅位置，客户菜单中可用的选项，餐厅内的座位，用餐和外卖等。
建模和仪表板活动可能会集中在单个或一个类别的项目上，可能在单个餐厅级别上，并以所有者可以消化的显示格式展示将来的销售。
练习中的上述步骤将基于反馈进行多次迭代。
图2模拟了一个简单的发布，包含4个冲刺（每个冲刺为1周）。
Scrum机器学习-4冲刺
Sprint 1中的EDA涵盖了Sprint持续时间的三分之二（即70％），因为一开始的数据熟悉性很重要。EDA的示例包括5数汇总，单变量和双变量分析，相关性等。它可能会导致以前未知的见解，例如无监督学习中的聚类。
在后续的sprint中，需要连续进行以容纳更多传入的数据；但覆盖率降低了。
建模可以评估数据分析和因果关系，并提供战略预测以满足企业需求。这需要不断地调整和重新调整，即根据最新数据和反馈进行重新训练。
Sprint 1将Dashboard引入到业务中，此后需要越来越多地关注以帮助生成可衡量的动作并对其进行监视。它会扩大到覆盖最后一次冲刺的持续时间的一半（即50％）。
Scrum Master和团队合作以及产品负责人和业务不断发展。
第一版可以用作学习试点的执行。
微调和后续步骤
该解决方案在一次冲刺中涵盖所有ML步骤的同时拥抱变化。
根据手头的数据/要求，发行版可能需要其他冲刺（甚至更长的冲刺）。
尽管这可能需要一个月以上的时间才能发布，但提供的主要好处是每次迭代都与业务保持连续同步；最后，产生可交付的控股业务价值。
必须信任该方法，然后根据需要对其进行微调。
作为最后的要点，明确的期望和诚实的沟通对于与企业建立牢固和信任的关系大有帮助。
Scrum Agile是解决复杂问题的一种行之有效的方法。
ML提供了一种精确的方法，可以基于数据分析问题的根本原因，并提出可量化的解决方案。
两者的合并以递增的方式实现了人类愉悦的传递。
题库