教育行業(yè)A股IPO第一股（股票代碼 003032）

全國咨詢/投訴熱線：400-618-4000

Standalone是什么？Standalone有幾種類型的進程？

更新時間:2022年03月11日14時10分 來源:傳智教育 瀏覽次數:

Standalone是什么

Standalone模式是Spark自帶的一種集群模式，不同于前面本地模式啟動多個進程來模擬集群的環(huán)境，Standalone模式是真實地在多個機器之間搭建Spark集群的環(huán)境，完全可以利用該模式搭建多機器集群，用于實際的大數據處理。

StandAlone 是完整的Spark運行環(huán)境,其中: Master角色以Master進程存在, Worker角色以Worker進程存在 Driver和Executor運行于Worker進程內, 由Worker提供資源供給它們運行。

Standalone是什么Standalone

StandAlone集群在進程上主要有3類進程:

（1）主節(jié)點Master進程：

Master角色, 管理整個集群資源，并托管運行各個任務的Driver

（2）從節(jié)點Workers：

Worker角色, 管理每個機器的資源，分配對應的資源來運行Executor(Task); 每個從節(jié)點分配資源信息給Worker管理，資源信息包含內存Memory和CPU Cores核數。

（3）歷史服務器HistoryServer(可選)：

Spark Application運行完成以后，保存事件日志數據至HDFS，啟動HistoryServer可以查看應用運行相關信息。Spark的歷史服務器, 功能: 將Spark運行的程序的歷史日志記錄下來, 通過歷史服務器方便用戶查看程序運行的歷史信息。

猜你喜歡：

Spark有什么特點？【大數據培訓】

Spark Mllib分層抽樣具體是怎樣操作的？

Spark與Hadoop有哪些區(qū)別？【大數據培訓】

怎樣使用Spark方法完成RDD的創(chuàng)建？

傳智教育Python+大數據開發(fā)培訓課程

0 分享到：
和我們在線交談！