【学习笔记】大规模数据处理07：Workflow设计模式：让你在大规模数据世界中君 ...

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

大规模数据处理07：Workflow设计模式：让你在大规模数据世界中君临天下
将这种由多个不同的处理模块连接在一起，最后得出一个自己需要结果的有向无环图，称为一个工作流系统
1.复制模式
复制模式通常是将单个数据处理模块中的数据，完整地复制到两个或更多的数据处理模块中，然后再由不同的数据处理模块进行处理。
当我们在处理大规模数据时，需要对同一个数据集采取多种不同的数据处理转换，就可以优先考虑采用复制模式。
2.过滤模式
过滤模式的作用是过滤掉不符合特定条件的数据。
当我们在处理大规模数据时，需要针对一个数据集中某些特定的数据采取数据处理时，我们就可以优先考虑采用过滤模式
3.分离模式
处理数据的时候并不想丢弃里面的任何数据，而是想把数据分类为不同的类别来进行处理时，你就需要用到分离模式来处理数据，分离模式并不会过滤任何数据，只是将原来的数据集分组了，需要注意的是，在分离模式下，同样的数据其实是可以被划分到不同的数据处理模块中的
4.合并模式
合并模式会将多个不同的数据集转换集中到一起，成为一个总数据集，然后将这个总的数据集放在一个工作流中进行处理。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：workflow 学习笔记 数据处理 flow Work

学习笔记奖！