教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000

YARN體系結(jié)構(gòu)工作流程介紹【大數(shù)據(jù)文章】

更新時間:2021年03月12日11時57分 來源:傳智教育 瀏覽次數(shù):

掌握了YARN的體系結(jié)構(gòu)后,接下來看一下YARN的工作流程,具體如圖1所示。

圖1 YARN工作流程

下面針對圖1展示的YARN的工作過程進行介紹,具體如下:

(1)用戶通過客戶端Client向YARN提交應用程序Applicastion,提交的內(nèi)容包含Application的必備信息,例如ApplicationMaster程序、啟動ApplicationMaster的命令、用戶程序等。

(2)YARN中的ResourceManager接收到客戶端應用程序的請求后,ResourceManager中的調(diào)度器(Scheduler)會為應用程序分配一個容器,用于運行本次程序?qū)腁pplicationMaster。圖6-2中的MR App Mstr表示的是MapReduce程序的ApplicationMaster。

(3)ApplicationMaster被創(chuàng)建后,首先向ResourceManager注冊信息,這樣用戶可以通過ResourceManager查看應用程序的運行狀態(tài)。接下來的第(4)~(7)步是應用程序的具體執(zhí)行步驟。

(4)ApplicationMaster采用輪詢的方式通過RPC協(xié)議向ResourceManager申請資源。

(5)ResourceManager向提出申請的ApplicationMaster分配資源。一旦ApplicationMaster申請到資源后,便與對應的NodeManager通信,要求它啟動任務。

(6)NodeManager為任務設(shè)置好運行環(huán)境(包括環(huán)境變量、JAR包、二進制程序等)后,將任務啟動命令寫到一個腳本中,并通過運行該腳本啟動任務。

(7)各個任務通過某個RPC協(xié)議向ApplicationMaster匯報自己的狀態(tài)和進度,以讓ApplicationMaster隨時掌握各個任務的運行狀態(tài),從而可以在任務失敗時重新啟動任務。

(8)應用運行結(jié)束后,ApplicationMaster向ResourceManager注銷自己,并關(guān)閉自己。如果ApplicationMaster因為發(fā)生故障導致任務失敗,那么ResourceManager中的應用程序管理器會將其重新啟動,直到所有任務執(zhí)行完畢。





猜你喜歡:

Spark Mllib分層抽樣具體是怎樣操作的?

為什么選擇kafka采集數(shù)據(jù)?

簡單介紹YARN資源管理框架的體系結(jié)構(gòu)【大數(shù)據(jù)文章】

傳智教育大數(shù)據(jù)開發(fā)培訓

0 分享到:
和我們在線交談!