大數(shù)據(jù)培訓(xùn)：Hadoop1.x架構(gòu)存在哪些缺點?

　　Hadoop發(fā)行版本分為開源社區(qū)版和商業(yè)版，社區(qū)版是指由Apache軟件基金會維護(hù)的版本，是官方維護(hù)的版本體系。商業(yè)版Hadoop是指由第三方商業(yè)公司在社區(qū)版Hadoop基礎(chǔ)上進(jìn)行了一些修改、整合以及各個服務(wù)組件兼容性測試而發(fā)行的版本，比較著名的有Cloudera公司的CDH版本。

　　自Hadoop誕生以來，主要分為Hadoop1、Hadoop2和Hadoop3三個系列的多個版本。Hadoop2.x版本指的是第2代Hadoop，它是從Hadoop1.x發(fā)展而來的，并且相對于Hadoop1.x來說，有很多改進(jìn)。Hadoop1.x架構(gòu)中的HDFS和MapReduce存在以下缺陷：

　　(1)HDFS中的NameNode、SecondaryNode單點故障，風(fēng)險比較大。其次，NameNode內(nèi)存受限不好擴(kuò)展，因為Hadoop1.x版本中的HDFS只有一個NameNode，并且要管理所有的DataNode。

　　(2)MapReduce中的JobTracker職責(zé)過多，訪問壓力太大，會影響系統(tǒng)穩(wěn)定。除此之外，MapReduce難以支持除自身以外的框架，擴(kuò)展性較低。

　　Hadoop2.x版本為克服Hadoop1.x中的不足，對其結(jié)構(gòu)進(jìn)行了以下改進(jìn)：

　　(1)Hadoop2.x可以同時啟動多個NameNode，其中一個處于工作(Active)狀態(tài)，另一個處于隨時待命(Standby)狀態(tài)，這種機(jī)制被稱為Hadoop HA(Hadoop高可用)。當(dāng)一個NameNode所在的服務(wù)器宕機(jī)時，可以在數(shù)據(jù)不丟失的情況下，自動切換到另一個NameNode持續(xù)提供服務(wù)。

　　(2)Hadoop2.x將JobTracker中的資源管理和作業(yè)控制分開，分別由ResourceManager(負(fù)責(zé)所有應(yīng)用程序的資源分配)和ApplicationMaster(負(fù)責(zé)管理一個應(yīng)用程序)實現(xiàn)，即引入了資源管理框架YARN，它是一個通用的資源管理框架，可以為各類應(yīng)用程序進(jìn)行資源管理和調(diào)度，不僅限于MapReduce一種框架，也可以為其他框架使用，如Tez、Spark、Storm，這種設(shè)計不僅能夠增強(qiáng)不同計算機(jī)模型和各種應(yīng)用之間的交互，使集群資源得到高效利用，而且能更好地與企業(yè)中已經(jīng)存在的計算結(jié)構(gòu)集成在一起。

　　(3)Hadoop2.x中的MapReduce是運(yùn)行在YARN上的離線處理框架，它的運(yùn)行環(huán)境不再由JobTracker和TaskTracker等服務(wù)組成，而是變成通用資源管理YARN和作業(yè)控制進(jìn)程ApplicationMaster，從而使MapReduce在速度上和可用性上都有很大的提高。