教育行業(yè)A股IPO第一股(股票代碼 003032)

全國(guó)咨詢/投訴熱線:400-618-4000

問(wèn)答>python+大數(shù)據(jù)開(kāi)發(fā)>hadoop1.x和hadoop2.x的區(qū)別是什么,做了哪些改進(jìn)?

hadoop1.x和hadoop2.x的區(qū)別是什么,做了哪些改進(jìn)?

來(lái)源傳智教育2022年06月29日 14時(shí)39分35秒

  Hadoop2.x版本為了克服Hadoop1.x中的不足,對(duì)其架構(gòu)進(jìn)行了以下改進(jìn):

  (1)Hadoop2.x可以同時(shí)啟動(dòng)多個(gè)NameNode,其中一個(gè)處于工作(Active)狀態(tài),另一個(gè)處于隨時(shí)待命(Standby)狀態(tài),這種機(jī)制被稱為Hadoop HA(Hadoop高可用)。當(dāng)一個(gè)NameNode所在的服務(wù)器宕機(jī)時(shí),可以在數(shù)據(jù)不丟失的情況下,自動(dòng)切換到另一個(gè)NameNode持續(xù)提供服務(wù)。

  (2)Hadoop2.x將JobTracker中的資源管理和作業(yè)控制分開(kāi),分別由ResourceManager(負(fù)責(zé)所有應(yīng)用程序的資源分配)和ApplicationMaster(負(fù)責(zé)管理一個(gè)應(yīng)用程序)實(shí)現(xiàn),即引入了資源管理框架YARN,它是一個(gè)通用的資源管理框架,可以為各類應(yīng)用程序進(jìn)行資源管理和調(diào)度,不僅限于MapReduce一種框架,也可以為其他框架使用,如Tez、Spark、Storm,這種設(shè)計(jì)不僅能夠增強(qiáng)不同計(jì)算模型和各種應(yīng)用之間的交互,使集群資源得到高效利用,而且能更好地與企業(yè)中已經(jīng)存在的計(jì)算結(jié)構(gòu)集成在一起。

  (3)Hadoop2.x中的MapReduce是運(yùn)行在YARN上的離線處理框架,它的運(yùn)行環(huán)境不再由JobTracker和TaskTracker等服務(wù)組成,而是變成通用資源管理YARN和作業(yè)控制進(jìn)程ApplicationMaster,從而使MapReduce在速度上和可用性上都有很大的提高。

和我們?cè)诰€交談!