Spark處理數(shù)據(jù)的速度比Hive更快？原因是什么？

問題分析

考官主要考核你對Spark和Hadoop運(yùn)行機(jī)制的理解，考察你對技術(shù)應(yīng)用場景的敏感性和理解程度，這對工作的具體質(zhì)量有很大的影響。

核心問題講解

Spark SQL比Hadoop Hive快，是有一定條件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎還比Spark SQL的引擎更快。
其實(shí)，關(guān)鍵還是在于Spark 本身快。那么Spark為什么快呢？

1. 消除了冗余的HDFS讀寫
   Hadoop每次shuffle操作后，必須寫到磁盤，而Spark在shuffle后不一定落盤，可以cache到內(nèi)存中，以便迭代時使用。如果操作復(fù)雜，很多的shufle操作，那么Hadoop的讀寫IO時間會大大增加。、

2. 消除了冗余的MapReduce階段
   Hadoop的shuffle操作一定連著完整的MapReduce操作，冗余繁瑣。而Spark基于RDD提供了豐富的算子操作，且action操作產(chǎn)生shuffle數(shù)據(jù)，可以緩存在內(nèi)存中。

3. JVM的優(yōu)化
   Hadoop每次MapReduce操作，啟動一個Task便會啟動一次JVM，基于進(jìn)程的操作。而Spark每次MapReduce操作是基于線程的，只在啟動Executor時啟動一次JVM，內(nèi)存的Task操作是在線程復(fù)用的。
   每次啟動JVM的時間可能就需要幾秒甚至十幾秒，那么當(dāng)Task多了，這個時間Hadoop不知道比Spark慢了多少。
   總結(jié)：Spark比Mapreduce運(yùn)行更快，主要得益于其對mapreduce操作的優(yōu)化以及對JVM使用的優(yōu)化。

   

問題擴(kuò)展

Spark快不是絕對的，但是絕大多數(shù)Spark都比Hadoop計(jì)算要快。
考慮一種極端查詢：Select month_id,sum(sales) from T group by month_id;這個查詢只有一次shuffle操作，此時，也許Hive HQL的運(yùn)行時間也許比Spark還快。

結(jié)合項(xiàng)目中使用

公司在技術(shù)人員儲備滿足的情況下，同樣的業(yè)務(wù)處理，優(yōu)先選擇spark來進(jìn)行實(shí)現(xiàn)，這樣對統(tǒng)計(jì)分析的執(zhí)行效率會有很大的提升。
如果業(yè)務(wù)對性能沒有要求，而且內(nèi)存資源有限，也可以采用Hive來進(jìn)行計(jì)算分析。

怎樣使用Spark方法完成RDD的創(chuàng)建？

Spark的應(yīng)用場景有哪些？

Spark SQL如何實(shí)現(xiàn)Hive數(shù)據(jù)倉庫的操作？

傳智教育python+大數(shù)據(jù)開發(fā)培訓(xùn)培訓(xùn)課程