[Case Study]Word Count using Python, Scala and Java

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

Python

1. text_file = spark.textFile("hdfs://...")
   
2. counts = text_file.flatMap(lambda line: line.split(" ")) \
   
3.              .map(lambda word: (word, 1)) \
   
4.              .reduceByKey(lambda a, b: a + b)
   
5. counts.saveAsTextFile("hdfs://...")

复制代码

Scala

1. val textFile = spark.textFile("hdfs://...")
   
2. val counts = textFile.flatMap(line => line.split(" "))
   
3.                  .map(word => (word, 1))
   
4.                  .reduceByKey(_ + _)
   
5. counts.saveAsTextFile("hdfs://...")

复制代码

Java

1. JavaRDD<String> textFile = spark.textFile("hdfs://...");
   
2. JavaRDD<String> words = textFile.flatMap(new FlatMapFunction<String, String>() {
   
3.   public Iterable<String> call(String s) { return Arrays.asList(s.split(" ")); }
   
4. });
   
5. JavaPairRDD<String, Integer> pairs = words.mapToPair(new PairFunction<String, String, Integer>() {
   
6.   public Tuple2<String, Integer> call(String s) { return new Tuple2<String, Integer>(s, 1); }
   
7. });
   
8. JavaPairRDD<String, Integer> counts = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
   
9.   public Integer call(Integer a, Integer b) { return a + b; }
   
10. });
    
11. counts.saveAsTextFile("hdfs://...");

复制代码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Case study python SCALA Using Count Java Word