全部 大數(shù)據(jù)新聞動態(tài) 大數(shù)據(jù)技術(shù)文章 大數(shù)據(jù)常見問題 技術(shù)問答

• • 

    RDD有什么特征？

    RDD( Resilient Distributed Dataset，彈性分布式數(shù)據(jù)集)，是一個容錯的、并行的數(shù)據(jù)結(jié)構(gòu)，可以讓用戶顯式地將數(shù)據(jù)存儲到磁盤和內(nèi)存中，并且還能控制數(shù)據(jù)的分區(qū)。對于迭代式計算和交互式數(shù)據(jù)挖掘，RDD可以將中間計算的數(shù)據(jù)結(jié)果保存在內(nèi)存中，若是后面需要中間結(jié)果參與計算時，則可以直接從內(nèi)存中讀取，從而可以極大地提高計算速度。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-22 |傳智教育 |RDD特征

  • 

    win10下載安裝Scala及環(huán)境變量配置教程【親測生效】

    Scala語言可以在Windows、Linux、Mac OS等系統(tǒng)上編譯運行。由于Scala是運JVM平臺上的，所以安裝Scala之前必須配置好JDK環(huán)境(JDK版本要求不低于1.5)。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-22 |黑馬程序員 |win10下載安裝Scala,Scala環(huán)境變量配置

  • 

    RDD為什么要進行數(shù)據(jù)持久化？持久化操作步驟

    在Spark中，RDD是采用惰性求值，即每次調(diào)用行動算子操作，都會從頭開始計算。然而，每次調(diào)用行動算子操作，都會觸發(fā)一次從頭開始的計算，這對于迭代計算來說，代價是很大的，因為迭代計算經(jīng)常需要多次重復(fù)的使用同一組數(shù)據(jù)集，所以，為了避免重復(fù)計算的開銷，可以讓Spark對數(shù)據(jù)集進行持久化。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-22 |傳智教育 |RDD數(shù)據(jù)持久化操作,持久化機制,RDD,Spark

  • 

    如何遠程登錄Hadoop虛擬機和開啟SSH服務(wù)？

    完成虛擬機的安裝和網(wǎng)絡(luò)配置，雖然可以正常使用，但是工作中還需要遠程操縱服務(wù)器進行各項操作，所以就需要對虛擬機實行配置遠程登錄和SSH免密登錄，進行相關(guān)操作。接下來，就分別對這兩種服務(wù)配置進行說明和詳細講解。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-22 |傳智教育 |Hadoop虛擬機,SSH服務(wù),遠程登錄虛擬機

  • 

    如何使用HBase分布式數(shù)據(jù)庫？常見的Java API類型有幾種？

    HBase是由Java語言開發(fā)的，它對外提供了Java API的接口。接下來，通過Java API來操作HBase分布式數(shù)據(jù)庫，包括增、刪、改以及查等對數(shù)據(jù)表的操作，具體操作步驟如下： 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-22 |傳智教育 |HBase的Java API操作步驟,常見的Java API

  • 

    RDD是如何操作數(shù)據(jù)轉(zhuǎn)換的？RDD轉(zhuǎn)換算子API示例

    RDD處理過程中的“轉(zhuǎn)換”操作主要用于根據(jù)已有RDD創(chuàng)建新的RDD，每一次通過Transformation算子計算后都會返回一個新RDD，供給下一個轉(zhuǎn)換算子使用。面，我們通過結(jié)合具體的示例對這些轉(zhuǎn)換算子API進行詳細講解。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-21 |傳智教育 |RDD,轉(zhuǎn)換算子,RDD數(shù)據(jù)處理

  • 

    Scala語言是什么？有什么特點？如何安裝？

    Scala于2001年由瑞士洛桑聯(lián)邦理工學院(EPFL)編程方法實驗室研發(fā)，它由Martin Odersky(馬丁·奧德斯基)創(chuàng)建。目前，許多公司依靠Java進行的關(guān)鍵性業(yè)務(wù)應(yīng)用已轉(zhuǎn)向或正在轉(zhuǎn)向Scala，以提高應(yīng)用程序的可擴展性和整體的可靠性，從而提高開發(fā)效率。Scala是Scalable Language的簡稱，它是一門多范式的編程語言，其設(shè)計初衷是實現(xiàn)種可擴展的語言，并集成面向?qū)ο缶幊毯秃瘮?shù)式編程的各種特性?；谶@個目標與設(shè)計，Scala具有以下顯著的特性。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-21 |傳智教育 |Scala語言是什么,Scala特點

  • 

    怎樣使用Spark Shell來讀取HDFS文件？

    使用Scala語言開發(fā)單詞計數(shù)Spark程序，現(xiàn)有文本文件words.txt(讀者需要在本地創(chuàng)建文件并上傳至指定目錄)在HDFS中的/spark/test路徑下如果使用Spark Shell來讀取HDFS中的/spark/test/ words.txt文件，具體步驟如下： 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-21 |傳智教育 |Shell讀取文件,運行Spark

  << < 1 2 3 4 5 6 7 8 9 ... 38 > >>