數(shù)據(jù)庫(kù)是存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù),但數(shù)據(jù)庫(kù)并不能直接存儲(chǔ)數(shù)據(jù),數(shù)據(jù)是存儲(chǔ)在表中的,在存儲(chǔ)數(shù)據(jù)的過(guò)程中一定會(huì)用到數(shù)據(jù)庫(kù)服務(wù)器,所謂的數(shù)據(jù)庫(kù)服務(wù)器就是指在計(jì)算機(jī)上安裝一個(gè)數(shù)據(jù)庫(kù)管理程序,如MySQL。 查看全文>>
大數(shù)據(jù)技術(shù)文章2019-11-01 |傳智播客 |數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)
SQL是IBM公司于1975—1979年之間開發(fā)出來(lái)的,在20世紀(jì)隨著數(shù)據(jù)庫(kù)技術(shù)的發(fā)展,數(shù)據(jù)庫(kù)產(chǎn)品越來(lái)越多,如Oracle、DB2、MongoDB、SQLServer、MySQL等。 查看全文>>
大數(shù)據(jù)技術(shù)文章2019-11-01 |傳智播客 |常用的數(shù)據(jù)庫(kù)
Hive是建立在 Hadoop 上的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)構(gòu)架。它提供了一系列的工具,可以用來(lái)進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載(ETL),這是一種可以存儲(chǔ)、查詢和分析存儲(chǔ)在 Hadoop 中的大規(guī)模數(shù)據(jù)的機(jī)制。Hive 定義了簡(jiǎn)單的類 SQL 查詢語(yǔ)言,稱為 HQL,它允許熟悉 SQL 的用戶查詢數(shù)據(jù)。課程內(nèi)容是Hive基礎(chǔ)教程。 查看全文>>
大數(shù)據(jù)技術(shù)文章2019-10-17 |傳智播客 |Hive視頻教程
ZooKeeper是以Fast Paxos算法為基礎(chǔ)的,Paxos 算法存在活鎖的問(wèn)題,即當(dāng)有多個(gè)proposer交錯(cuò)提交時(shí),有可能互相排斥導(dǎo)致沒(méi)有一個(gè)proposer能提交成功,而Fast Paxos作了一些優(yōu)化,通過(guò)選舉產(chǎn)生一個(gè)leader (領(lǐng)導(dǎo)者),只有l(wèi)eader才能提交proposer,具體算法可見Fast Paxos。因此,要想弄懂ZooKeeper首先得對(duì)Fast Paxos有所了解。 查看全文>>
大數(shù)據(jù)技術(shù)文章2019-10-17 |傳智播客 |zookeepe視頻教程教程
圖論算法在計(jì)算機(jī)科學(xué)中扮演著很重要的角色,它提供了對(duì)很多問(wèn)題都有效的一種簡(jiǎn)單而系統(tǒng)的建模方式。很多問(wèn)題都可以轉(zhuǎn)化為圖論問(wèn)題,然后用圖論的基本算法加以解決。 查看全文>>
大數(shù)據(jù)技術(shù)文章2019-10-16 |傳智播客 |圖論及其應(yīng)用
Flink CEP是在flink之上實(shí)現(xiàn)的復(fù)雜事件處理(CEP)庫(kù),它允許我們?cè)谑录髦袡z測(cè)事件的模式,讓我們有機(jī)會(huì)掌握數(shù)據(jù)中重要的事項(xiàng)。本文章主要是介紹了flink cep中可用的api調(diào)用,首先介紹Pattern API,它允許你指定要在事件流中檢測(cè)的模式,并介紹匹配事件并對(duì)其進(jìn)行操作。最后分析下CEP庫(kù)在處理事件時(shí)間延遲問(wèn)題。 查看全文>>
大數(shù)據(jù)技術(shù)文章2019-10-16 |傳智播客 |Flink cep庫(kù),處理事件時(shí)間延遲
目前云平臺(tái)逐漸火熱起來(lái),國(guó)內(nèi)如:阿里云、騰訊云、華為云等平臺(tái),國(guó)外如:AWS、Azure、Google GCP等平臺(tái),都有不少用戶,并在持續(xù)的增加中。特別是在大數(shù)據(jù)領(lǐng)域,主流的云平臺(tái)均提供了相應(yīng)的解決方案,從分布式存儲(chǔ)到分布式計(jì)算,從批處理框架到流式計(jì)算,從ETL到數(shù)據(jù)管道,從BI分析到數(shù)據(jù)挖掘等等方面均有對(duì)應(yīng)的產(chǎn)品來(lái)解決企業(yè)的需求。我們有必要對(duì)云平臺(tái)增加一定的了解,并最好能上手嘗試一番,對(duì)我們提升眼界思維有很大幫助。本篇文章就給大家?guī)?lái)主流云平臺(tái)中的AWS平臺(tái)的相關(guān)介紹。 查看全文>>
大數(shù)據(jù)技術(shù)文章2019-10-16 |傳智播客 |云平臺(tái)AWS
搜索引擎的熱門搜索排行榜功能你用過(guò)嗎?你知道這個(gè)功能是如何實(shí)現(xiàn)的嗎?實(shí)際上,它的實(shí)現(xiàn)并不復(fù)雜。搜索引擎每天會(huì)接收大量的用戶搜索請(qǐng)求,它會(huì)把這些用戶輸入的搜索關(guān)鍵詞記錄下來(lái),然后再離線地統(tǒng)計(jì)分析,得到最熱門的 Top 10 搜索關(guān)鍵詞。 查看全文>>
大數(shù)據(jù)技術(shù)文章2019-10-14 |傳智播客 |求熱搜關(guān)鍵詞,大數(shù)據(jù)算法
北京校區(qū)