第15课：RDD创建内幕

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

一、RDD的创建方式

Spark应用程序运行过程中，第一个RDD代表了Spark应用程序输入数据的来源，之后通过Trasformation来对RDD进行各种算子的

转换，来实现具体的算法。Spark中的基本方式：

1）使用程序中的集合创建，这种方式的实际意义主要用于测试；

2）使用本地文件系统创建，这种方式的实际意义主要用于测试大量数据的文件；

3）使用HDFS创建RDD，这种方式为生产环境中最常用的创建RDD的方式；

4）基于DB创建；

5）基于NoSQL。例如HBase；

6）基于S3(SC3)创建；

7）基于数据流创建。

二、RDD创建实战

1）通过集合创建，代码如下：

1. object RDDBasedOnCollection {
   
2.   def main (args: Array[String]) {
   
3.     val conf = new SparkConf()//create SparkConf
   
4.     conf.setAppName("RDDBasedOnCollection")//set app name
   
5.     conf.setMaster("local")//run local
   
6.     val sc =new SparkContext(conf)
   
7.     val numbers = 1 to 100  //创建一个Scala集合
   
8.     val rdd = sc.parallelize(numbers)
   
9.     val sum =rdd.reduce(_+_)  //1+2=3 3+3=6 6+4=10
   
10.     println("1+2+...+99+100"+"="+sum)
    
11.   }
    
12. }

复制代码

结果如下所示：

2） 通过本地文件系统创建，代码如下：

1. object RDDBasedOnLocalFile {
   
2.   def main (args: Array[String]) {
   
3.     val conf = new SparkConf()//create SparkConf
   
4.     conf.setAppName("RDDBasedOnCollection")//set app name
   
5.     conf.setMaster("local")//run local
   
6.     val sc =new SparkContext(conf)
   
7.     val rdd = sc.textFile("C:/Users/feng/IdeaProjects/WordCount/src/SparkText.txt")
   
8.     val linesLength=rdd.map(line=>line.length())
   
9.     val sum = linesLength.reduce(_+_)
   
10.     println("the total characters of the file"+"="+sum)
    
11.   }
    
12. }

复制代码

结果如下：

3）通过HDFS创建RDD，代码如下：

1. val wordcount = sc.textFile("/library/wordcount/input/licenses").flatMap(_.split(" ")).map(word=>(word,1)).reduceByKey(_+_).filter(pair=>pair._2>20).collect().foreach(println)

复制代码

结果如下所示：

注：本学习笔记来自DT大数据梦工厂

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：Collection Characters formation Character Projects Spark scala DT_Spark 大数据