近年來,Web應(yīng)用、網(wǎng)絡(luò)監(jiān)控、傳感監(jiān)測、電信金融、生產(chǎn)制造等領(lǐng)域,對數(shù)據(jù)實時處理的需求不斷增強,而Spark中的SparkStreaming實時計算框架就是為了實現(xiàn)對數(shù)據(jù)實時處理的需求而設(shè)計的。在電子商務(wù)中,淘寶、京東等網(wǎng)站從用戶點擊的行為(如加入購物車)和瀏覽的歷史記錄中發(fā)現(xiàn)用戶的購買意圖和興趣,然后通過Sparkstreaming實時計算框架分析處理,為之推薦相關(guān)商品,從而有效地提高商品的銷售量,同時也增加了用戶的滿意度,可謂是“一舉兩得”。 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-05-29 |傳智播客 |大數(shù)據(jù)實時計算框架
Kafka是一個高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它在實時計算系統(tǒng)中有著非常強大的功能。通常情況下,使用Kafka構(gòu)建系統(tǒng)或應(yīng)用程序之間的數(shù)據(jù)管道,用來轉(zhuǎn)換或響應(yīng)實時數(shù)據(jù),使數(shù)據(jù)能夠及時地進行業(yè)務(wù)計算,得出相應(yīng)結(jié)果。 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-05-29 |傳智播客 |kafka
大數(shù)據(jù)系統(tǒng)面臨的首要困難是海量數(shù)據(jù)之間該如何進行傳輸。為了解決大數(shù)據(jù)集的傳輸困難,就必須要構(gòu)建一個消息系統(tǒng)。一個消息系統(tǒng)負(fù)責(zé)將數(shù)據(jù)從一個應(yīng)用程序傳遞到另外一個應(yīng)用程序中,應(yīng)用程序只關(guān)注數(shù)據(jù),無須關(guān)注數(shù)據(jù)在多個應(yīng)用之間是如何傳遞的,分布式消息傳遞基于可靠的消息隊列,在客戶端應(yīng)用和消息系統(tǒng)之間異步傳遞消息。 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-05-29 |傳智播客 |消息傳遞模式
Hadoop與Spark都是大數(shù)據(jù)計算框架,但是兩者各有自己的優(yōu)勢,Spark與Hadoop的區(qū)別主要有以下幾點。 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-04-24 |傳智播客 |Spark與Hadoop的區(qū)別
Spark計算框架在處理數(shù)據(jù)時,所有的中間數(shù)據(jù)都保存在內(nèi)存中。正是由于Spark充分利用內(nèi)存對數(shù)據(jù)進行計算,從而減少磁盤讀寫操作,提高了框架計算效率。同時Spark還兼容HDFS、Hive,可以很好地與Hadoop系統(tǒng)融合,從而彌補MapReduce高延遲的性能缺點。所以說,Spark是一個更加快速、高效的大數(shù)據(jù)計算平臺。 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-04-24 |傳智播客 |Spark特點
機器學(xué)習(xí)強調(diào)3個關(guān)鍵詞:算法、經(jīng)驗和性能。在數(shù)據(jù)的基礎(chǔ)上,通過算法構(gòu)建出模型,然后用訓(xùn)練模型測試已有的數(shù)據(jù)集進行評估,如果評估達(dá)到要求,就將模型應(yīng)用于生產(chǎn)環(huán)境中,如果該模型沒有很好的表現(xiàn),那么就需要重新調(diào)整算法參數(shù),最終獲得一個滿意的模型來處理其他的數(shù)據(jù)。機器學(xué)習(xí)技術(shù)和方法已經(jīng)被成功應(yīng)用到多個領(lǐng)域,如個性化推薦系統(tǒng)、計算機視覺、語音識別、自然語言處理以及智能機器控制等領(lǐng)域。機器學(xué)習(xí)是人工智能的核心,可以應(yīng)用于各行各業(yè),與人們的生活息息相關(guān)。以下是機器學(xué)習(xí)應(yīng)用的常見領(lǐng)域。 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-04-23 |傳智播客 |機器學(xué)習(xí)應(yīng)用領(lǐng)域
可視化看板是一個數(shù)據(jù)可視化案例,將大量數(shù)據(jù)加工處理后,通過圖表的方式表達(dá),可以更直觀的對數(shù)據(jù)進行分析。本次課程主要講解ECharts 圖表的基本使用以及可視化面板的布局 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-03-22 |傳智播客 |ECharts js實現(xiàn)數(shù)據(jù)可視化面板
對于初學(xué)者來說,一定不知道如何使用MySQL數(shù)據(jù)庫,因此需要查看MySQL的幫助信息,首先登錄到MySQL數(shù)據(jù)庫,然后在命令行窗口中輸入“help;”或者\h命令,此時就會顯示MySQL的幫助信息,如圖1-33所示。 查看全文>>
大數(shù)據(jù)技術(shù)文章2019-11-13 |傳智播客 |Mysql幫助信息命令