大數(shù)據(jù)系統(tǒng)面臨的首要困難是海量數(shù)據(jù)之間該如何進行傳輸。為了解決大數(shù)據(jù)集的傳輸困難,就必須要構(gòu)建一個消息系統(tǒng)。一個消息系統(tǒng)負責(zé)將數(shù)據(jù)從一個應(yīng)用程序傳遞到另外一個應(yīng)用程序中,應(yīng)用程序只關(guān)注數(shù)據(jù),無須關(guān)注數(shù)據(jù)在多個應(yīng)用之間是如何傳遞的,分布式消息傳遞基于可靠的消息隊列,在客戶端應(yīng)用和消息系統(tǒng)之間異步傳遞消息。 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-05-29 |傳智播客 |消息傳遞模式
Hadoop與Spark都是大數(shù)據(jù)計算框架,但是兩者各有自己的優(yōu)勢,Spark與Hadoop的區(qū)別主要有以下幾點。 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-04-24 |傳智播客 |Spark與Hadoop的區(qū)別
Spark計算框架在處理數(shù)據(jù)時,所有的中間數(shù)據(jù)都保存在內(nèi)存中。正是由于Spark充分利用內(nèi)存對數(shù)據(jù)進行計算,從而減少磁盤讀寫操作,提高了框架計算效率。同時Spark還兼容HDFS、Hive,可以很好地與Hadoop系統(tǒng)融合,從而彌補MapReduce高延遲的性能缺點。所以說,Spark是一個更加快速、高效的大數(shù)據(jù)計算平臺。 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-04-24 |傳智播客 |Spark特點
機器學(xué)習(xí)強調(diào)3個關(guān)鍵詞:算法、經(jīng)驗和性能。在數(shù)據(jù)的基礎(chǔ)上,通過算法構(gòu)建出模型,然后用訓(xùn)練模型測試已有的數(shù)據(jù)集進行評估,如果評估達到要求,就將模型應(yīng)用于生產(chǎn)環(huán)境中,如果該模型沒有很好的表現(xiàn),那么就需要重新調(diào)整算法參數(shù),最終獲得一個滿意的模型來處理其他的數(shù)據(jù)。機器學(xué)習(xí)技術(shù)和方法已經(jīng)被成功應(yīng)用到多個領(lǐng)域,如個性化推薦系統(tǒng)、計算機視覺、語音識別、自然語言處理以及智能機器控制等領(lǐng)域。機器學(xué)習(xí)是人工智能的核心,可以應(yīng)用于各行各業(yè),與人們的生活息息相關(guān)。以下是機器學(xué)習(xí)應(yīng)用的常見領(lǐng)域。 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-04-23 |傳智播客 |機器學(xué)習(xí)應(yīng)用領(lǐng)域
Spark于2009年誕生于美國加州大學(xué)伯克利分校的AMP實驗室,它是一個可應(yīng)用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一分析引擎。Spark不僅計算速度快,而且內(nèi)置了豐富的APl,使得用戶能夠更加容易地編寫程序。下面我們就來聊聊Spark的發(fā)展歷史。 查看全文>>
大數(shù)據(jù)新聞動態(tài)2020-04-23 |傳智播客 |Spark生態(tài)系統(tǒng)
隨著互聯(lián)網(wǎng)的高速發(fā)展,被收集并應(yīng)用于分析的數(shù)據(jù)量呈現(xiàn)出爆發(fā)式增長,面對如此量級的數(shù)據(jù),以及常見的實時利用該數(shù)據(jù)的需求,僅依靠人工處理難免力不從心,這就催生了所謂的大數(shù)據(jù)和機器學(xué)習(xí)系統(tǒng)。 機器學(xué)習(xí)是一門多領(lǐng)域的交叉學(xué)科,涉及概率論、統(tǒng)計學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科,專門研究計算機如何模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為,以獲取新的知識或技能,重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。 查看全文>>
大數(shù)據(jù)新聞動態(tài)2020-04-23 |傳智播客 |機器學(xué)習(xí)分為幾類
可視化看板是一個數(shù)據(jù)可視化案例,將大量數(shù)據(jù)加工處理后,通過圖表的方式表達,可以更直觀的對數(shù)據(jù)進行分析。本次課程主要講解ECharts 圖表的基本使用以及可視化面板的布局 查看全文>>
大數(shù)據(jù)技術(shù)文章2020-03-22 |傳智播客 |ECharts js實現(xiàn)數(shù)據(jù)可視化面板
回調(diào)函數(shù)會在producer收到ack時調(diào)用,為異步調(diào)用,該方法有兩個參數(shù),分別是RecordMetadata和Exception,如果Exception為null,說明消息發(fā)送成功,如果Exception不為null,說明消息發(fā)送失敗。 注意:消息發(fā)送失敗會自動重試,不需要我們在回調(diào)函數(shù)中手動重試。 查看全文>>
大數(shù)據(jù)新聞動態(tài)2020-01-03 |傳智播客 |Kafka的常用API