問答>python+大數(shù)據(jù)開發(fā)>applicationmaster是什么?
applicationmaster是什么?
來源傳智教育2022年06月28日 14時52分33秒
用戶提交的每個應用程序都包含一個ApplicationMaster,它負責協(xié)調(diào)來自ResourceManager的資源,把獲得的資源分配給內(nèi)部的各個任務,從而實現(xiàn)“二次分配”。除此之外,ApplicationMaster還會通過NodeManager監(jiān)控容器的執(zhí)行和資源使用情況,并在任務運行失敗時重新為任務申請資源以重啟任務。當前的YARN自帶了兩個ApplicationMaster的實現(xiàn),一個是用于演示ApplicationMaster編寫方法的實例程序DistributedShell,它可以申請一定數(shù)目的Container以并行方式運行一個Shell命令或者Shell腳本;另一個則是運行MapReduce應用程序的ApplicationMaster-MRAppMaster。
需要注意的是,ResourceManager負責監(jiān)控ApplicationMaster, 并在ApplicationMaster運行失敗的時候重啟,大大提高集群的拓展性。ResourceManager不負責ApplicationMaster內(nèi)部任務的容錯,任務的容錯由ApplicationMaster完成,總體來說,ApplicationMaster的主要功能是資源的調(diào)度、監(jiān)控與容錯。
最新問答
- 2022年06月30日黑盒測試與白盒測試的區(qū)別是啥?
- 2022年06月30日Hive的安裝模式有幾種?
- 2022年06月29日Flume系統(tǒng)要求是什么?
- 2022年06月29日數(shù)據(jù)發(fā)布與訂閱有哪些主要應用場景?
- 2022年06月29日Zookeeper集群角色有哪三種?
- 2022年06月29日hadoop1.x和hadoop2.x的區(qū)別是什么,做了哪些改進?
- 2022年06月28日znode有哪兩種節(jié)點?
- 2022年06月28日非全新集群選舉的過程是什么樣的?
- 2022年06月28日applicationmaster是什么?
- 2022年06月28日yarn的工作流程是什么?
相關(guān)問答
- 2022年06月28日非全新集群選舉的過程是什么樣的?
- 2022年06月28日yarn的工作流程是什么?
- 2022年06月23日matplotlib繪制的圖形是只有一種結(jié)構(gòu)嗎?
- 2022年06月23日如何使用matplotlib繪圖?
- 2022年06月21日學歷低可以學Python嗎?
- 2022年06月21日培訓機構(gòu)學Python怎么樣?
- 2022年06月20日python培訓班學習完可以找到工作嗎?
- 2022年06月20日免費學Python的網(wǎng)站有嗎?推薦推薦
- 2022年06月20日求解:數(shù)組廣播是什么?
- 2022年06月17日Pandas有哪些描述性統(tǒng)計方法?