【学习笔记】创建Pair RDD的方式有多种。 # 第一种创建方式：从文件中加载，然 ...

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

创建Pair RDD的方式有多种。
# 第一种创建方式：从文件中加载，然后转换为Pair RDD。
file = \"/spark_demo/wordcount/input/study.txt\"
lines = spark.sparkContext.textFile(file)
pairRDD = lines.flatMap(lambda line: line.split(\" \")).map(lambda word: (word,1))
pairRDD.collect()
# 第二种方式：通过并行集合创建Pair RDD
rdd = spark.sparkContext.parallelize([\"Hadoop\",\"Spark\",\"Hive\",\"Spark\"])
pairRDD = rdd.map(lambda word: (word,1))
pairRDD.collect()
# keyBy()：自定义key的分组规则
a = spark.sparkContext.parallelize([\"black\", \"blue\", \"white\", \"green\", \"grey\"])
# 通过应用指定的函数来创建该RDD中元素的元组(参数函数生成对应的key)，返回一个pair RDD
b = a.keyBy(lambda x:len(x))  
b.collect()
# 或者，通过元组列表创建 pair rdd
pets = spark.sparkContext.parallelize([(\"cat\",1),(\"dog\",1),(\"cat\",2)])
pets.collect()

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：学习笔记 习笔记 Air Parallel Context