為了更好地理解“分而治之”思想,我們先來舉一個生活的例子。例如,某大型公司在全國設(shè)立了分公司,假設(shè)現(xiàn)在要統(tǒng)計公司今年的營收情況制作年報,有兩種統(tǒng)計方式,第1種方式是全國分公司將自己的賬單數(shù)據(jù)發(fā)送至總部,由總部統(tǒng)一計算公司今年的營收報表;第2種方式是采用分而治之的思想,也就是說,先要求分公司各自統(tǒng)計營收情況,再將統(tǒng)計結(jié)果發(fā)給總部進行統(tǒng)一匯總計算。 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-10-16 |傳智播客 |MapReduce是如何進行計算的
現(xiàn)代社會的科技的飛速,隨之帶來數(shù)據(jù)的飛速增長,增長存儲容量、讀寫速度、計算效率等越來越無法滿足用戶的需求,為了解決這些問題,于是Google提出了三個處理大數(shù)據(jù)的技術(shù)手段 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-10-16 |傳智播客 |Hadoop,Hadoop的發(fā)展歷程
HDFS,全稱Hadoop Distributed File System,意思是分布式文件系統(tǒng)。Hadoop分布式文件系統(tǒng)是指被設(shè)計成適合du運行在通用硬件(commodity hardware)上的分zhi布式文件系統(tǒng)。接下來,我們從傳統(tǒng)的文件系統(tǒng)入手,開始學(xué)習(xí)分布式文件系統(tǒng),以及分布式文件系統(tǒng)是如何演變而來。 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-10-15 |傳智播客 |HDFS,HDFS是什么,大數(shù)據(jù),HDFS是怎樣工作的
我們在生活中經(jīng)常聽說大數(shù)據(jù),那大數(shù)據(jù)能用來做什么呢?簡單來說就是通過海量的數(shù)據(jù)對比,找出大家關(guān)注的或者有用的,進行專業(yè)化的數(shù)據(jù)分析,發(fā)掘其潛在價值。 查看全文>>
大數(shù)據(jù)常見問題2020-10-13 |傳智播客 |大數(shù)據(jù),大數(shù)據(jù)能做什么,Hadoop,技術(shù)棧
從零開始講解大數(shù)據(jù)調(diào)度系統(tǒng)構(gòu)成,集成大數(shù)據(jù)計算任務(wù)構(gòu)建大數(shù)據(jù)工作流,基于Oozie構(gòu)建實現(xiàn)企業(yè)級自動化任務(wù)開發(fā)。提取碼:esu8 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-09-11 |傳智播客 |oozie框架基礎(chǔ)視頻教程
從零開始講解大數(shù)據(jù)業(yè)務(wù)及數(shù)據(jù)采集和遷移需求,以案例驅(qū)動的方式講解基于Sqoop構(gòu)建高性能的分布式數(shù)據(jù)遷移和同步平臺。提取碼:964s 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-09-11 |傳智播客 |大數(shù)據(jù)遷移方案
對數(shù)據(jù)湖概念進行介紹,并通過Delta Lake技術(shù)配合Hadoop、Spark完成數(shù)據(jù)湖架構(gòu)的搭建,并介紹通過AWS構(gòu)建數(shù)據(jù)湖的方式。提取碼:afhg 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-09-11 |傳智播客 |數(shù)據(jù)湖架構(gòu)開發(fā)視頻教程
實戰(zhàn)式教學(xué),綜合運用多種技術(shù),實現(xiàn)從數(shù)據(jù)爬取到數(shù)據(jù)分析再到數(shù)據(jù)可視化全流程。提取碼:oz7r 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-09-11 |傳智播客 |大數(shù)據(jù)疫情防控平臺搭建教程