第16课：RDD实战

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

由于RDD的不可修改的特性，导致RDD的操作与正常面向对象的操作不同，RDD的操作基本分为3大类：transformation、action、contoller。

一、Transformation

Transformation是通过转化针对已有的RDD创建出新的RDD。

map(func)：对调用map的RDD数据集中的每个element都使用func，然后返回一个新的RDD,这个返回的数据集是分布式的数据集

filter(func)：对调用filter的RDD数据集中的每个元素都使用func，然后返回一个包含使func为true的元素构成的RDD

flatMap(func)：和map差不多，但是flatMap生成的是多个结果

mapPartitions(func)：和map很像，但是map是每个element，而mapPartitions是每个partition

mapPartitionsWithSplit(func)：和mapPartitions很像，但是func作用的是其中一个split上，所以func中应该有index

sample(withReplacement,faction,seed)：抽样

union(otherDataset)：返回一个新的dataset，包含源dataset和给定dataset的元素的集合

distinct([numTasks])：返回一个新的dataset，这个dataset含有的是源dataset中的distinct的element

groupByKey(numTasks)：返回(K,Seq[V])，也就是hadoop中reduce函数接受的key-valuelist

reduceByKey(func,[numTasks])：就是用一个给定的reducefunc再作用在groupByKey产生的(K,Seq[V]),比如求和，求平均数

sortByKey([ascending],[numTasks])：按照key来进行排序，是升序还是降序，ascending是boolean类型

join(otherDataset,[numTasks])：当有两个KV的dataset(K,V)和(K,W)，返回的是(K,(V,W))的dataset,numTasks为并发的任务数

cogroup(otherDataset,[numTasks])：当有两个KV的dataset(K,V)和(K,W)，返回的是(K,Seq[V],Seq[W])的dataset,numTasks为并发的任务数。

Transformation特性：

lazy优化：由于Tranformation的lazy特性，也就是创建不马上运行，对于框架来说，我有足够的时间查看到尽可能多的步骤，看到的步骤越多，优化的空间就越大。最简单的优化方式就是步骤合并，例如本来的做法是a=b*3;b=c*3;c=d*3;d=3，步骤合并后就是a=3*3*3*3。

二、Action

Action操作的目的是得到一个值，或者一个结果

reduce(func)：说白了就是聚集，但是传入的函数是两个参数输入返回一个值，这个函数必须是满足交换律和结合律的

collect()：一般在filter或者足够小的结果的时候，再用collect封装返回一个数组

count()：返回的是dataset中的element的个数

first()：返回的是dataset中的第一个元素

take(n)：返回前n个elements，这个是driver program返回的

takeSample(withReplacement，num，seed)：抽样返回一个dataset中的num个元素

注：本学习笔记来自DT大数据梦工厂

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：replacement formation partition transform placement Spark scala DT_Spark 大数据

http://zuizhai.h106.kele666.com/

岁月静好呢 发表于 2016-5-25 17:36
http://zuizhai.h106.kele666.com/

给我讨债公司的链接是几个意思？