要規(guī)劃的Spark集群包含一臺Master節(jié)點和兩臺Slave節(jié)點。其中,主機名hadoop01是Master節(jié)點,hadoop02和hadoop03是Slave節(jié)點。接下來,分步驟演示Spark集群的安裝與配置,具體如下。 查看全文>>
大數(shù)據(jù)技術文章2020-10-29 |傳智播客 |Spark的集群安裝與配置簡介
Scala是Scalable Language的簡稱,它是一門多范式的編程語言,其設計初衷是實現(xiàn)可伸縮的語言、并集成面向對象編程和函數(shù)式編程的各種特性。 查看全文>>
大數(shù)據(jù)技術文章2020-10-28 |傳智播客 |Scala發(fā)展歷程簡介
IDEA工具可以自動識別代碼錯誤和進行簡單的修復、以及IDEA工具內置了很多優(yōu)秀的插件,所以現(xiàn)在大多數(shù)的Scala開發(fā)程序員都會選擇IDEA作為開發(fā)Scala的工具。接下來,以Window操作系統(tǒng)為例,分步驟講解如何在IDEA工具上下載安裝Scala插件,具體步驟如下: 查看全文>>
大數(shù)據(jù)技術文章2020-10-28 |傳智播客 |如何下載安裝Scala插件
HBase是一個高可靠性、高性能、面向列、可伸縮的分布式數(shù)據(jù)庫,它起源于2006年Google發(fā)表的BigTable論文。在2008年,PowerSet的Chad Walters和Jim Keller受到了該論文思想的啟發(fā),從而把HBase作為Hadoop的子項目來進行開發(fā)維護,用于支持結構化的海量數(shù)據(jù)存儲。 查看全文>>
大數(shù)據(jù)技術文章2020-10-28 |傳智播客 |HBase分布式數(shù)據(jù)的特點
Sqoop是Apache旗下的一款開源工具,該項目開始于2009年,最早是作為Hadoop的一個第三方模塊存在,后來為了讓使用者能夠快速部署,也為了讓開發(fā)人員能夠更快速的迭代開發(fā),并在2013年,獨立成為Apache的一個頂級開源項目。 查看全文>>
大數(shù)據(jù)技術文章2020-10-16 |傳智播客 |Sqoop是什么
想要通過外部UI界面訪問虛擬機服務,還需要對外開放配置Hadoop集群服務端口號。這里,為了后續(xù)學習方便,就直接將所有集群節(jié)點防火墻進行關閉即可,具體操作如下。 查看全文>>
大數(shù)據(jù)技術文章2020-10-16 |傳智播客 |Hadoop集群集群的管理和查看
為了更好地理解“分而治之”思想,我們先來舉一個生活的例子。例如,某大型公司在全國設立了分公司,假設現(xiàn)在要統(tǒng)計公司今年的營收情況制作年報,有兩種統(tǒng)計方式,第1種方式是全國分公司將自己的賬單數(shù)據(jù)發(fā)送至總部,由總部統(tǒng)一計算公司今年的營收報表;第2種方式是采用分而治之的思想,也就是說,先要求分公司各自統(tǒng)計營收情況,再將統(tǒng)計結果發(fā)給總部進行統(tǒng)一匯總計算。 查看全文>>
大數(shù)據(jù)技術文章2020-10-16 |傳智播客 |MapReduce是如何進行計算的
現(xiàn)代社會的科技的飛速,隨之帶來數(shù)據(jù)的飛速增長,增長存儲容量、讀寫速度、計算效率等越來越無法滿足用戶的需求,為了解決這些問題,于是Google提出了三個處理大數(shù)據(jù)的技術手段 查看全文>>
大數(shù)據(jù)技術文章2020-10-16 |傳智播客 |Hadoop,Hadoop的發(fā)展歷程