Kafka數(shù)據(jù)存儲(chǔ)【大數(shù)據(jù)文章】

1. 順序?qū)懭?/p>

因?yàn)橛脖P是機(jī)械結(jié)構(gòu)，每次讀寫(xiě)都會(huì)尋址->寫(xiě)入，其中尋址是一個(gè)“機(jī)械動(dòng)作”，它是耗時(shí)的。所以硬盤“討厭”隨機(jī)I/O，喜歡順序I/O。為了提高讀寫(xiě)硬盤的速度，Kafka就是使用順序I/O。如果一個(gè)topic建立多個(gè)分區(qū)那么每個(gè)parathion都是一個(gè)文件，收到消息后Kafka會(huì)把數(shù)據(jù)插入到文件末尾。

2. Memory Mapped Files（內(nèi)存映射文件）

64位操作系統(tǒng)中一般可以表示20G的數(shù)據(jù)文件，它的工作原理是直接利用操作系統(tǒng)的Page來(lái)實(shí)現(xiàn)文件到物理內(nèi)存的直接映射。完成映射之后你對(duì)物理內(nèi)存的操作會(huì)被同步到硬盤上。

3. Kafka高效文件存儲(chǔ)設(shè)計(jì)特點(diǎn)

Kafka把topic中一個(gè)parition大文件分成多個(gè)小文件段，通過(guò)多個(gè)小文件段，就容易定期清除或刪除已經(jīng)消費(fèi)完文件，減少磁盤占用。通過(guò)索引信息可以快速定位
message和確定response的 大大小。通過(guò)index元數(shù)據(jù)全部映射到memory（內(nèi)存映射文件），可以避免segment file的IO磁盤操作。通過(guò)索引文件稀疏存儲(chǔ)，可以大幅降低index文件元數(shù)據(jù)占用空間大小。

Kafka數(shù)據(jù)存儲(chǔ)

（1）數(shù)據(jù)文件的分段Kafka解決查詢效率的手段之一是將數(shù)據(jù)文件分段，比如有100條Message，它們的offset是從0到99。假設(shè)將數(shù)據(jù)文件分成5段，第一段為0-19，第二段為20-39，以此類推，每段放在一個(gè)單獨(dú)的數(shù)據(jù)文件里面，數(shù)據(jù)文件以該段中 小的offset命名。這樣在查找指定offset的Message的時(shí)候，用二分查找就可以定位到該Message在哪個(gè)段中。

（2）為數(shù)據(jù)文件建索引數(shù)據(jù)文件分段使得可以在一個(gè)較小的數(shù)據(jù)文件中查找對(duì)應(yīng)offset的Message 了，但是這依然需要順序掃描才能找到對(duì)應(yīng)offset的Message。
為了進(jìn)一步提高查找的效率，Kafka為每個(gè)分段后的數(shù)據(jù)文件建立了索引文件，文件名與數(shù)據(jù)文件的名字是一樣的，只是文件擴(kuò)展名為.index。

索引文件中包含若干個(gè)索引條目，每個(gè)條目表示數(shù)據(jù)文件中一條Message的索引。索引包含兩個(gè)部分（均為4個(gè)字節(jié)的數(shù)字），分別為相對(duì)offset和position。相對(duì)offset：因?yàn)閿?shù)據(jù)文件分段以后，每個(gè)數(shù)據(jù)文件的起始o(jì)ffset不為0，相對(duì)offset表示這條Message相對(duì)于其所屬數(shù)據(jù)文件中 小的offset的大小。舉例，分段后的一個(gè)數(shù)據(jù)文件的offset是從20開(kāi)始，那么offset為25的Message在index文件中的相對(duì)offset就是25-20 = 5。存儲(chǔ)相對(duì)offset可以減小索引文件占用的空間。

position，表示該條Message在數(shù)據(jù)文件中的絕對(duì)位置。只要打開(kāi)文件并移動(dòng)文件指針到這個(gè) position就可以讀取對(duì)應(yīng)的Message了。index文件中并沒(méi)有為數(shù)據(jù)文件中的每條Message建立索引，而是采用了稀疏存儲(chǔ)的方式，每隔一定字節(jié)的數(shù)據(jù)建立一條索引。這樣避免了索引文件占用過(guò)多的空間，從而可以將索引文件保留在內(nèi)存中。但缺點(diǎn)是沒(méi)有建立索引的Message也不能一次定位到其在數(shù)據(jù)文件的位置，從而需要做一次順序掃描，但是這次順序掃描的范圍就很小了。




猜你喜歡：

2分鐘快速了解kafka[大數(shù)據(jù)培訓(xùn)]

kafka自定義攔截器實(shí)例教程[傳智教育]

Kafka常用的API有哪些？

傳智教育大數(shù)據(jù)培訓(xùn)課程