Hadoop如何實現(xiàn)二次排序？【大數(shù)據(jù)面試題】

問題分析

即對key和value雙排序。默認(rèn)情況下，Map輸出的結(jié)果會對Key進(jìn)行默認(rèn)的排序，但是有時候需要對Key排序的同時還需要對Value進(jìn)行排序，這時候就要用到二次排序了。

核心答案講解

有兩種方法進(jìn)行二次排序，分別為：buffer and in memory sort和 value-to-key conversion。
buffer and in memory sort
主要思想是：在reduce()函數(shù)中，將某個key對應(yīng)的所有value保存到內(nèi)存中，然后進(jìn)行排序。 這種方法最大的缺點是：可能會造成out of memory。

value-to-key conversion
主要思想是：將key和部分value拼接成一個組合key（實現(xiàn)WritableComparable接口或者調(diào)用 setSortComparatorClass函數(shù)），這樣reduce獲取的結(jié)果便是先按key排序，后按value排序的結(jié)果，需要注意的是，用戶需 要自己實現(xiàn)Paritioner，以便只按照key進(jìn)行數(shù)據(jù)劃分。Hadoop顯式的支持二次排序，在Configuration類中有個 setGroupingComparatorClass()方法，可用于設(shè)置排序被group的key值。

問題擴(kuò)展

MapReduce：寫Mapreduce進(jìn)行數(shù)據(jù)處理，需要利用java、python等語言進(jìn)行開發(fā)調(diào)試，如果沒有一項技術(shù)（如 Java）基礎(chǔ)，幾乎不可能學(xué)會 MapReduce。

Hive：Hive 構(gòu)建于傳統(tǒng)的數(shù)據(jù)庫和數(shù)據(jù)倉庫理念之上。它對待數(shù)據(jù)的方式就像是它有一個基于 SQL 或基于架構(gòu)的結(jié)構(gòu)。Apache Hive提供了一種更具體和更高級的語言，通過運行Hadoop作業(yè)來查詢數(shù)據(jù)，而不是直接編寫腳本來逐步操作Hadoop上的幾個MapReduce作業(yè)。Hive的初步設(shè)計思路在于提供與SQL類似的使用體驗，開發(fā)人員只需要掌握Sql相關(guān)的知識就可以使用。

項目應(yīng)用

在大數(shù)據(jù)的復(fù)雜統(tǒng)計分析中，可以使用Hive的SQL功能來實現(xiàn)排序等不同的算法，降低入門難度，提高研發(fā)效率。

Hadoop集群有幾種部署模式？各種模式有什么特點？

Hadoop安裝教程，8大安裝目錄的內(nèi)容和作用分別是什么？

hadoop大數(shù)據(jù)開發(fā)培訓(xùn)機構(gòu)推薦

Hadoop實現(xiàn)join的有幾種方法？【大數(shù)據(jù)面試題】

傳智教育Python+大數(shù)據(jù)開發(fā)培訓(xùn)