Flume日志采集系統(tǒng)結(jié)構(gòu)圖

Flume的核心角色是Agent，通過Agent可以從其他服務(wù)中采集數(shù)據(jù)，并通過內(nèi)部event流的形式傳輸?shù)絊ink，并根據(jù)需求最終向下一個Agent傳輸或者進(jìn)行集中式存儲。

在實(shí)際開發(fā)中，F(xiàn)lume需要采集數(shù)據(jù)的類型多種多樣，同時還會進(jìn)行不同的中間操作，所以根據(jù)具體需求，可以將Flume日志采集系統(tǒng)分為簡單結(jié)構(gòu)和復(fù)雜結(jié)構(gòu)。

1. 簡單結(jié)構(gòu)

當(dāng)需要采集數(shù)據(jù)的生產(chǎn)源比較單一、簡單的時候，可以直接使用一個Agent來進(jìn)行數(shù)據(jù)采集并最終存儲，結(jié)構(gòu)如Flume基本架構(gòu)，如下圖所示。

2. 復(fù)雜結(jié)構(gòu)

有時候需要采集數(shù)據(jù)的數(shù)據(jù)源分布在不同的服務(wù)器上，使用一個Agent進(jìn)行數(shù)據(jù)采集不再適用，這時就可以根據(jù)業(yè)務(wù)需求部署多個Agent進(jìn)行數(shù)據(jù)采集并最終存儲，結(jié)構(gòu)如下圖所示。

Flume復(fù)雜結(jié)構(gòu)——多Agent

從圖2可以看出，對每一個需要收集數(shù)據(jù)的Web服務(wù)端都搭建了一個Agent進(jìn)行數(shù)據(jù)采集，接著再將這多個Agent中的數(shù)據(jù)作為下一個Agent的Source進(jìn)行采集并最終集中存儲到HDFS中。

除此之外，在開發(fā)中還有可能遇到從同一個服務(wù)端采集數(shù)據(jù)，然后通過多路復(fù)用流分別傳輸并存儲到不同目的地的情況，結(jié)構(gòu)如圖3所示。

從圖3可以看出，根據(jù)具體需求，將一個Agent采集的數(shù)據(jù)通過不同的Channel分別流向了不同的Sink，然后再進(jìn)行下一階段的傳輸或存儲(如圖3所示，將多個Sink數(shù)據(jù)分別進(jìn)行了HDFS集中式存儲、作為JMS消息服務(wù)、作為另一個Agent的Source)。

猜你喜歡：

IPV6是什么？如何使用IPV6訪問互聯(lián)網(wǎng)？

IPv4耗盡已成事實(shí)，IPv6的未來已來！

Scala的方法和函數(shù)介紹

傳智教育python+大數(shù)據(jù)開發(fā)課程