Hadoop安裝教程，8大安裝目錄的內(nèi)容和作用分別是什么？

　　Hadoop是Apache基金會面向全球開源的產(chǎn)品之一，任何用戶都可以從Apache Hadoop 官網(wǎng)：https://archive.apache.org/dist/hadoop/common下載使用。本書將以編寫時較為穩(wěn)定的Hadoop2.7.4版本為例，詳細(xì)講解Hadoop的安裝。

　　先將下載的hadoop-2.7.4.tar.gz安裝包上傳到主節(jié)點hadoop01的/export/software/目錄下，然后將文件解壓到/export/servers/目錄，具體指令如下。

$ tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers/

　　執(zhí)行完上述指令后，同樣通過“vi /etc/profile”指令打開profile文件，在文件底部進一步添加如下內(nèi)容類配置Hadoop環(huán)境變量。

# 配置Hadoop系統(tǒng)環(huán)境變量
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　在/etc/profile文件中配置完上述Hadoop環(huán)境變量后(注意HADOOP_HOME路徑)，保存退出即可。然后，還需要執(zhí)行“source /etc/profile”指令使可使配置文件生效。

　　安裝完Hadoop并配置好環(huán)境變量后，可以在當(dāng)前主機任意目錄下查看安裝的Hadoop版本號，具體指令如下。

$ hadoop version

　　執(zhí)行完上述指令后，效果如圖1所示。

圖1 Hadoop版本號

　　從圖1可以看出，當(dāng)前Haddoop版本就是指定的2.7.4，說明Hadoop安裝成功。

　　接下來，可以在Hadoop解壓目錄下通過ll指令查看Hadoop目錄結(jié)構(gòu)，如圖2所示。

　　圖2 Hadoop安裝目錄結(jié)構(gòu)

　　從圖2可以看出，Hadoop安裝目錄包括有bin、etc、include、lib、libexec、sbin、share和src共8個目錄以及其他一些文件，下面簡單介紹下各目錄內(nèi)容及作用。

　　bin：存放操作Hadoop相關(guān)服務(wù)(HDFS、Yarn)的腳本，但是通常使用sbin目錄下的腳本。

　　etc：存放Hadoop配置文件，主要包含core-site.xml、hdfs-site.xml、mapred-site.xml等從Hadoop1.0繼承而來的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

　　include：對外提供的編程庫頭文件(具體動態(tài)庫和靜態(tài)庫在lib目錄中)，這些頭文件均是用C++定義的，通常用于C++程序訪問HDFS或者編寫MapReduce程序。

　　lib：該目錄包含了Hadoop對外提供的編程動態(tài)庫和靜態(tài)庫，與include目錄中的頭文件結(jié)合使用。

　　libexec：各個服務(wù)對用的shell配置文件所在的目錄，可用于配置日志輸出、啟動參數(shù)(比如JVM參數(shù))等基本信息。

　　sbin：該目錄存放Hadoop管理腳本，主要包含HDFS和YARN中各類服務(wù)的啟動/關(guān)閉腳本。

　　share：Hadoop各個模塊編譯后的jar包所在的目錄。

　　src：Hadoop的源碼包。

Hadoop從何而來，Hadoop發(fā)展歷程簡介

如何遠(yuǎn)程登錄Hadoop虛擬機和開啟SSH服務(wù)

Scala語言是什么？有什么特點？如何安裝？

傳智教育大數(shù)據(jù)培訓(xùn)課程