Hadoop集群有幾種部署模式？各種模式有什么特點(diǎn)？

Hadoop集群的部署方式方式分為三種，分別是獨(dú)立模式（Standalone mode）、偽分布式模式（Pseudo-Distributed mode）、完全分布式模式（Cluster mode），具體介紹如下。

（1）獨(dú)立模式：又稱為單機(jī)模式，在該模式下，無(wú)需運(yùn)行任何守護(hù)進(jìn)程，所有的程序都在單個(gè)JVM上執(zhí)行。獨(dú)立模式下調(diào)試Hadoop集群的MapReduce程序非常方便，所以一般情況下，該模式在學(xué)習(xí)或者開(kāi)發(fā)階段調(diào)試使用。

（2）偽分布式模式：Hadoop程序的守護(hù)進(jìn)程運(yùn)行在一臺(tái)節(jié)點(diǎn)上，通常使用偽分布式模式用來(lái)調(diào)試Hadoop分布式程序的代碼，以及程序執(zhí)行是否正確，偽分布式模式是完全分布式模式的一個(gè)特例。

（3）完全分布式模式：Hadoop的守護(hù)進(jìn)程分別運(yùn)行在由多個(gè)主機(jī)搭建的集群上，不同節(jié)點(diǎn)擔(dān)任不同的角色，在實(shí)際工作應(yīng)用開(kāi)發(fā)中，通常使用該模式構(gòu)建企業(yè)級(jí)Hadoop系統(tǒng)。

在Hadoop環(huán)境中，所有服務(wù)器節(jié)點(diǎn)僅劃分為兩種角色，分別是master（主節(jié)點(diǎn)，1個(gè)）和slave（從節(jié)點(diǎn)，多個(gè)）。因此，偽分布模式是集群模式的特例，只是將主節(jié)點(diǎn)和從節(jié)點(diǎn)合二為一罷了。

? 接下來(lái)，本書(shū)將以前面安裝的三臺(tái)虛擬機(jī)為例，闡述完全分布模式Hadoop集群的安裝與配置方法，具體集群規(guī)劃如圖1所示。

? 圖1 Hadoop集群規(guī)劃

從圖1可以看出，當(dāng)前規(guī)劃的Hadoop集群包含一臺(tái)master節(jié)點(diǎn)和兩臺(tái)slave節(jié)點(diǎn)。這里，將前面安裝的Hadoop01作為Master節(jié)點(diǎn)，Hadoop02和Hadoop03作為Slave節(jié)點(diǎn)。

Hadoop集群格式化【大數(shù)據(jù)技術(shù)文章】

Zookeeper分布式系統(tǒng)的集群架構(gòu)介紹

Spark的集群安裝與配置簡(jiǎn)介【大數(shù)據(jù)技術(shù)文章】

傳智教育軟Python+大數(shù)據(jù)開(kāi)發(fā)培訓(xùn)