YARN體系結(jié)構(gòu)工作流程介紹【大數(shù)據(jù)文章】

掌握了YARN的體系結(jié)構(gòu)后，接下來(lái)看一下YARN的工作流程，具體如圖1所示。

圖1 YARN工作流程

下面針對(duì)圖1展示的YARN的工作過(guò)程進(jìn)行介紹，具體如下：

（1）用戶通過(guò)客戶端Client向YARN提交應(yīng)用程序Applicastion，提交的內(nèi)容包含Application的必備信息，例如ApplicationMaster程序、啟動(dòng)ApplicationMaster的命令、用戶程序等。

（2）YARN中的ResourceManager接收到客戶端應(yīng)用程序的請(qǐng)求后，ResourceManager中的調(diào)度器（Scheduler）會(huì)為應(yīng)用程序分配一個(gè)容器，用于運(yùn)行本次程序?qū)?yīng)的ApplicationMaster。圖6-2中的MR App Mstr表示的是MapReduce程序的ApplicationMaster。

（3）ApplicationMaster被創(chuàng)建后，首先向ResourceManager注冊(cè)信息，這樣用戶可以通過(guò)ResourceManager查看應(yīng)用程序的運(yùn)行狀態(tài)。接下來(lái)的第（4）~（7）步是應(yīng)用程序的具體執(zhí)行步驟。

（4）ApplicationMaster采用輪詢的方式通過(guò)RPC協(xié)議向ResourceManager申請(qǐng)資源。

（5）ResourceManager向提出申請(qǐng)的ApplicationMaster分配資源。一旦ApplicationMaster申請(qǐng)到資源后，便與對(duì)應(yīng)的NodeManager通信，要求它啟動(dòng)任務(wù)。

（6）NodeManager為任務(wù)設(shè)置好運(yùn)行環(huán)境（包括環(huán)境變量、JAR包、二進(jìn)制程序等）后，將任務(wù)啟動(dòng)命令寫(xiě)到一個(gè)腳本中，并通過(guò)運(yùn)行該腳本啟動(dòng)任務(wù)。

（7）各個(gè)任務(wù)通過(guò)某個(gè)RPC協(xié)議向ApplicationMaster匯報(bào)自己的狀態(tài)和進(jìn)度，以讓ApplicationMaster隨時(shí)掌握各個(gè)任務(wù)的運(yùn)行狀態(tài)，從而可以在任務(wù)失敗時(shí)重新啟動(dòng)任務(wù)。

（8）應(yīng)用運(yùn)行結(jié)束后，ApplicationMaster向ResourceManager注銷自己，并關(guān)閉自己。如果ApplicationMaster因?yàn)榘l(fā)生故障導(dǎo)致任務(wù)失敗，那么ResourceManager中的應(yīng)用程序管理器會(huì)將其重新啟動(dòng)，直到所有任務(wù)執(zhí)行完畢。





猜你喜歡：

Spark Mllib分層抽樣具體是怎樣操作的？

為什么選擇kafka采集數(shù)據(jù)？

簡(jiǎn)單介紹YARN資源管理框架的體系結(jié)構(gòu)【大數(shù)據(jù)文章】

傳智教育大數(shù)據(jù)開(kāi)發(fā)培訓(xùn)