教育行業(yè)A股IPO第一股（股票代碼 003032）

全國咨詢/投訴熱線：400-618-4000

怎樣使用Spark方法完成RDD的創(chuàng)建？

更新時間:2021年03月23日17時45分 來源:傳智教育 瀏覽次數:


Spark可以通過并行集合創(chuàng)建RDD。即從一個已經存在的集合、數組上，通過SparkContext對象調用parallelize()方法創(chuàng)建RDD。

若要創(chuàng)建RDD，則需要先創(chuàng)建一個數組，再通過執(zhí)行parallelize()方法實現，具體代碼如下：

 scala> val array=Array(1,2,3,4,5)  array: Array[Int]=Array(1,2,3,4,5)
  scala> val arrRDD=sc.parallelize(array)
   arrRDD: org.apache.spark.rdd.RDD[Int]=ParallelcollectionRDD[6] at parallelize
                                at <console>:26


執(zhí)行上述代碼后，從返回結果arrRDD的屬性中看出RDD創(chuàng)建完成。



猜你喜歡：

Combiner組件創(chuàng)建和使用演示【大數據文章】

怎樣使用Linux和HDFS創(chuàng)建RDD？

RDD有什么特征？

DataFrame是什么意思?與RDD相比有哪些優(yōu)點？

傳智教育大數據項目開發(fā)培訓

0 分享到：
和我們在線交談！