[Case Study]WordCount using Scala

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

1. 为了在IDEA中编写scala，今天安装配置学习了IDEA集成开发环境。IDEA确实很优秀，学会之后，用起来很顺手。关于如何搭建scala和IDEA开发环境，请看文末的参考资料。
   
2. 用Scala和Java实现WordCount，其中Java实现的JavaWordCount是spark自带的例子（$SPARK_HOME/examples/src/main/java/org/apache/spark/examples/JavaWordCount.java）
   
3. 1.环境
   
4. OS:Red Hat Enterprise Linux Server release 6.4 (Santiago)
   
5. Hadoop:Hadoop 2.4.1
   
6. JDK:1.7.0_60
   
7. Spark:1.1.0
   
8. Scala:2.11.2
   
9. 集成开发环境：IntelliJ IDEA 13.1.3
   
10. 注意：需要在客户端windows环境下安装IDEA、Scala、JDK，并且为IDEA下载scala插件。
    
11. 
    
12. 2.Scala实现单词计数
    
13. 
    
14. 1 package com.hq
    
15. 2
    
16. 3 /**
    
17. 4 * User: hadoop
    
18. 5 *
    
19. Date: 2014/10/10 0010
    
20. 6 *
    
21. Time: 18:59
    
22. 7  */
    
23. 8 import org.apache.spark.SparkConf
    
24. 9 import org.apache.spark.SparkContext
    
25. 10 import org.apache.spark.SparkContext._
    
26. 11
    
27. 12 /**
    
28. 13 * 统计字符出现次数
    
29. 14  */
    
30. 15 object WordCount {
    
31. 16   def main(args: Array[String]) {
    
32. 17     if (args.length < 1) {
    
33. 18       System.err.println("Usage: <file>")
    
34. 19 System.exit(1)
    
35. 20     }
    
36. 21
    
37. 22 val conf = new SparkConf()
    
38. 23 val sc = new SparkContext(conf)
    
39. 24 val line = sc.textFile(args(0))
    
40. 25
    
41. 26 line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect().foreach(println)
    
42. 27
    
43. 28 sc.stop()
    
44. 29   }
    
45. 30 }

复制代码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Case study Count SCALA study Using examples windows 参考资料 release 客户端