如果Hadoop集群中部署了Hive服務(wù),并且在Sqoop服務(wù)的sqoop-env.sh文件中配置了Hive的安裝路徑,那么也可以通過Sqoop工具將MySQL表數(shù)據(jù)導(dǎo)入Hive表中。將MySQL表數(shù)據(jù)導(dǎo)入到Hive文件系統(tǒng)中,具體指令示例如下。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-08-06 |傳智教育 |MySQL表數(shù)據(jù)導(dǎo)入Hive
Pandas執(zhí)行算術(shù)運(yùn)算時(shí),會(huì)先按照索引進(jìn)行對(duì)齊,對(duì)齊以后再進(jìn)行相應(yīng)的運(yùn)算,沒有對(duì)齊的位置會(huì)用NaN進(jìn)行補(bǔ)齊。其中,Series是按行索引對(duì)齊的,DataFrame是按行索引、列索引對(duì)齊的。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-07-30 |傳智教育 |Panda,算術(shù)運(yùn)算和數(shù)據(jù)對(duì)齊
在Jupyter Notebook的主界面中,單擊 “Anaconda Projects” 進(jìn)入該目錄下,繼續(xù)單擊右上方的“New”按鈕,打開如圖1所示的下拉列表。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-07-30 |傳智教育 |Notebook功能和操作界面介紹, Jupyter
數(shù)據(jù)倉庫標(biāo)準(zhǔn)上可以分為四層:ODS(臨時(shí)存儲(chǔ)層)、PDW(數(shù)據(jù)倉庫層)、MID(數(shù)據(jù)集市層)、APP(應(yīng)用層)。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-07-28 |傳智教育 |數(shù)據(jù)倉庫標(biāo)準(zhǔn)分層
這里我們采用的是京東的數(shù)據(jù)倉庫分層模式,是根據(jù)標(biāo)準(zhǔn)的模型演化而來。將數(shù)據(jù)倉庫分為4層,BDM作為緩沖數(shù)據(jù),F(xiàn)DM作為基礎(chǔ)數(shù)據(jù)層,接下來對(duì)他們做詳細(xì)介紹。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-07-28 |傳智教育 |數(shù)據(jù)倉庫,數(shù)據(jù)倉庫實(shí)際分層
Sqoop工具操作簡單,它提供了一系列的工具指令,來進(jìn)行數(shù)據(jù)的導(dǎo)入、導(dǎo)出操作等。使用Sqoop解壓包中bin目錄下的“sqoop help”指令可以查看Sqoop支持的所有工具指令,具體效果如圖1所示。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-07-26 |傳智教育 |Sqoop,sqoop指令
掌握了Hadoop集群中的高可用架構(gòu)后,接下來,我們來手把手教大家搭建一個(gè)Hadoop高可用集群,具體步驟如下: 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-07-26 |傳智教育 |高可用集群,高可用架構(gòu),Hadoop
數(shù)據(jù)發(fā)布與訂閱模型,即所謂的全局配置中心,顧名思義就是發(fā)布者將需要全局統(tǒng)一管理的數(shù)據(jù)發(fā)布到Zookeeper節(jié)點(diǎn)上,供訂閱者動(dòng)態(tài)獲取數(shù)據(jù),實(shí)現(xiàn)配置信息的集中式管理和動(dòng)態(tài)更新。例如全局的配置信息,服務(wù)式服務(wù)框架的服務(wù)地址列表等就非常適合使用。接下來,我們介紹一些數(shù)據(jù)發(fā)布與訂閱的主要應(yīng)用場(chǎng)景。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-07-26 |傳智教育 |數(shù)據(jù)發(fā)布與訂閱的應(yīng)用場(chǎng)景,zookeeper,
北京校區(qū)