全部 大數(shù)據(jù)新聞動態(tài) 大數(shù)據(jù)技術文章 大數(shù)據(jù)常見問題 技術問答

• • 

    Combiner組件創(chuàng)建和使用演示【大數(shù)據(jù)文章】

    Combiner組件是MapReduce程序中的一種重要的組件，如果想自定義Combiner，我們需要繼承Reducer類，并且重寫reduce()方法。接下來，我們針對詞頻統(tǒng)計案例編寫一個Combiner組件，演示如何創(chuàng)建和使用Combiner組件 查看全文>>

    大數(shù)據(jù)技術文章2020-11-12 |傳智播客 |Combiner組件

  • 

    MapReduce程序在本地運行的模式怎樣設置？

    MapReduce程序的運行模式主要有兩種：本地運行模式和集群運行模式，集群運行模式只需要將MapReduce程序打成Jar包上傳至集群即可，比較簡單，這里不再贅述。下面我們以詞頻統(tǒng)計為例，講解如何將MapReduce程序設置為在本地運行模式。 查看全文>>

    大數(shù)據(jù)技術文章2020-11-05 |傳智播客 |MapReduce本地運行的模式設置

  • 

    Mapper類中的map()方法怎么用？

    MapReduce程序會根據(jù)輸入的文件產(chǎn)生多個map任務。Hadoop提供的Mapper類是實現(xiàn)Map任務的一個抽象基類，該基類提供了一個map()方法，默認情況下，Mapper類中的map()方法是沒有做任何處理的。 查看全文>>

    大數(shù)據(jù)技術文章2020-11-04 |傳智播客 |Mapper類中的map()方法怎么用

  • 

    InputFormat接口的定義代碼怎么設置？

    Hadoop中有五個編程組件，分別是：InputFormat、Mapper、Reducer、Parttioner、OutputFromat和Canbiner，其中Canbiner的作用是對Map階段的輸出的重復數(shù)據(jù)先做一次合并計算，所以不屬于必屬件。本節(jié)課就來對MapReducer的InputFormat組件做一個簡單介紹 查看全文>>

    大數(shù)據(jù)技術文章2020-11-03 |傳智播客 |InputFormat接口的定義代碼設置

  • 

    Watch機制的顯著特點有哪些？Watch簡介

    在ZooKeeper中，引入了Watch機制來實現(xiàn)這種分布式的通知功能。ZooKeeper允許客戶端向服務端注冊一個Watch監(jiān)聽，當服務端的一些事件觸發(fā)了這個Watch，那么就會向指定客戶端發(fā)送一個事件通知，來實現(xiàn)分布式的通知功能。Watch機制在事件中有以下4個特點： 查看全文>>

    大數(shù)據(jù)技術文章2020-11-03 |傳智播客 |Watch機制簡介

  • 

    Znode儲存結(jié)構(gòu)是怎樣的？節(jié)點類型有幾種？

    Zookeeper的底層是一套數(shù)據(jù)儲存結(jié)構(gòu)，其中的節(jié)點，我們稱之為znode。Zookeeper中數(shù)據(jù)存儲的結(jié)構(gòu)和標準文件系統(tǒng)非常類似，擁有一個層次的命名空間，也是使用斜杠(/)進行分割，兩者都是采用樹形層次結(jié)構(gòu)。不同的是，標準文件系統(tǒng)是由文件夾和文件來組成的樹，而Zookeeper是由什么來組成的樹呢?下面我們來看一下Zookeeper數(shù)據(jù)存儲結(jié)構(gòu) 查看全文>>

    大數(shù)據(jù)技術文章2020-11-03 |傳智播客 |Znode的儲存結(jié)構(gòu)和節(jié)點類型

  • 

    簡單介紹YARN資源管理框架的體系結(jié)構(gòu)【大數(shù)據(jù)文章】

    YARN是一個通用的資源管理系統(tǒng)和調(diào)度平臺，它的基本設計思想是將MRv1(Hadoop1.0中的MapReduce)中的JobTracker拆分為兩個獨立的任務，這兩個任務分別是全局的資源管理器ResourceManager和每個應用程序特有的ApplicationMaster。其中，ResourceManager負責整個系統(tǒng)的資源管理和分配，而ApplicationMaster負責單個應用程序的管理。接下來，我們通過一張圖來描述YARN的體系結(jié)構(gòu)，具體如圖1所示。 查看全文>>

    大數(shù)據(jù)技術文章2020-11-03 |傳智播客 |YARN,YARN資源管理框架的體系結(jié)構(gòu)

  • 

    Zookeeper分布式系統(tǒng)的集群架構(gòu)介紹

    Zookeeper對外提供一個類似于文件系統(tǒng)的層次化的數(shù)據(jù)存儲服務，為了保證整個Zookeeper集群的容錯性和高性能，每一個Zookeeper集群都是由多臺服務器節(jié)點(Server)組成，這些節(jié)點通過復制保證各個服務器節(jié)點之間的數(shù)據(jù)一致。只要當這些服務器節(jié)點過半數(shù)節(jié)點可用，那么整個Zookeeper集群就可用。下面我們來學習Zookeeper的集群架構(gòu)，如圖1所示。 查看全文>>

    大數(shù)據(jù)技術文章2020-11-03 |傳智播客 |Zookeeper分布式系統(tǒng),Zookeeper集群角色

  << < 1 ... 7 8 9 10 11 12 13 ... 35 > >>