教育行業(yè)A股IPO第一股(股票代碼 003032)

全國(guó)咨詢(xún)/投訴熱線(xiàn):400-618-4000

問(wèn)答>python+大數(shù)據(jù)開(kāi)發(fā)>Hive數(shù)據(jù)模型中的分區(qū)是指的什么?

Hive數(shù)據(jù)模型中的分區(qū)是指的什么?

來(lái)源傳智教育2022年04月08日 14時(shí)54分42秒

分區(qū)的概念是根據(jù)“分區(qū)列”的值對(duì)表的數(shù)據(jù)進(jìn)行粗略劃分的機(jī)制,在Hive存儲(chǔ)上的體現(xiàn)就是在表的主目錄(Hive的表實(shí)際顯示就是一個(gè)文件夾)下的一個(gè)子目錄,這個(gè)子目錄的名字就是定義的分區(qū)列的名字。分區(qū)是為了加快數(shù)據(jù)查詢(xún)速度設(shè)計(jì)的,例如,現(xiàn)在有個(gè)日志文件,文件中的每條記錄都帶有時(shí)間戳。如果根據(jù)時(shí)間來(lái)分區(qū),那么同一天的數(shù)據(jù)將會(huì)被分到同一個(gè)分區(qū)中。這樣的話(huà),如果查詢(xún)每一天或某幾天的數(shù)據(jù)就會(huì)變得很高效,因?yàn)橹恍枰獟呙鑼?duì)應(yīng)分區(qū)中的文件即可。

  注意:分區(qū)列不是表里的某個(gè)字段,而是獨(dú)立的列,根據(jù)這個(gè)列查詢(xún)存儲(chǔ)表中的數(shù)據(jù)文件。

和我們?cè)诰€(xiàn)交談!