ReduceTask工作機制：ReduceTask工作的5階段

更新時間:2021年12月06日16時51分來源:傳智教育瀏覽次數(shù):

ReduceTask的工作過程主要經(jīng)歷了5個階段，分別是Copy階段、Merge階段、Sort階段、Reduce階段和Write階段，如下圖所示。

ReduceTask

下面針對ReduceTask工作過程的5個階段進行介紹：

(1) Copy階段：Reduce會從各個MapTask上遠(yuǎn)程復(fù)制一片數(shù)據(jù)，并針對某一片數(shù)據(jù)，如果其大小超過一定閾值，則寫到磁盤上，否則直接放到內(nèi)存中。

(2) Merge階段：在遠(yuǎn)程復(fù)制數(shù)據(jù)的同時，ReduceTask會啟動兩個后臺線程，分別對內(nèi)存和磁盤上的文件進行合并，以防止內(nèi)存使用過多或者磁盤文件過多。

(3) Sort階段：用戶編寫reduce()方法輸人數(shù)據(jù)是按key進行聚集的一組數(shù)據(jù)。為了將key相同的數(shù)據(jù)聚在一起，Hadoop采用了基于排序的策略。由于各個MapTask已經(jīng)實現(xiàn)對自己的處理結(jié)果進行了局部排序，因此，ReduceTask只需對所有數(shù)據(jù)進行一次歸并排序即可。

(4) Reduce階段：對排序后的鍵值對調(diào)用reduce()方法，鍵相等的鍵值對調(diào)用一次reduce()方法，每次調(diào)用會產(chǎn)生零個或者多個鍵值對，最后把這些輸出的鍵值對寫人到HDFS中。

(5) Write階段: reduce()函數(shù)將計算結(jié)果寫到HDFS上。

猜你喜歡：

MapReduce核心思想【圖文介紹】

MapReduce程序怎樣設(shè)置本地運行模式?

如何操作MapReduce的性能調(diào)優(yōu)？

傳智教育python+大數(shù)據(jù)開發(fā)課程

上一篇：Kafka怎樣實現(xiàn)生產(chǎn)者冪等性？ 下一篇：ClouderaManager指的是什么？有哪些功能？