全部 大數(shù)據(jù)新聞動態(tài) 大數(shù)據(jù)技術文章 大數(shù)據(jù)常見問題 技術問答

• • 

    RDD為什么要進行數(shù)據(jù)持久化？持久化操作步驟

    在Spark中，RDD是采用惰性求值，即每次調用行動算子操作，都會從頭開始計算。然而，每次調用行動算子操作，都會觸發(fā)一次從頭開始的計算，這對于迭代計算來說，代價是很大的，因為迭代計算經(jīng)常需要多次重復的使用同一組數(shù)據(jù)集，所以，為了避免重復計算的開銷，可以讓Spark對數(shù)據(jù)集進行持久化。 查看全文>>

    大數(shù)據(jù)技術文章2020-12-22 |傳智教育 |RDD數(shù)據(jù)持久化操作,持久化機制,RDD,Spark

  • 

    如何遠程登錄Hadoop虛擬機和開啟SSH服務？

    完成虛擬機的安裝和網(wǎng)絡配置，雖然可以正常使用，但是工作中還需要遠程操縱服務器進行各項操作，所以就需要對虛擬機實行配置遠程登錄和SSH免密登錄，進行相關操作。接下來，就分別對這兩種服務配置進行說明和詳細講解。 查看全文>>

    大數(shù)據(jù)技術文章2020-12-22 |傳智教育 |Hadoop虛擬機,SSH服務,遠程登錄虛擬機

  • 

    如何使用HBase分布式數(shù)據(jù)庫？常見的Java API類型有幾種？

    HBase是由Java語言開發(fā)的，它對外提供了Java API的接口。接下來，通過Java API來操作HBase分布式數(shù)據(jù)庫，包括增、刪、改以及查等對數(shù)據(jù)表的操作，具體操作步驟如下： 查看全文>>

    大數(shù)據(jù)技術文章2020-12-22 |傳智教育 |HBase的Java API操作步驟,常見的Java API

  • 

    RDD是如何操作數(shù)據(jù)轉換的？RDD轉換算子API示例

    RDD處理過程中的“轉換”操作主要用于根據(jù)已有RDD創(chuàng)建新的RDD，每一次通過Transformation算子計算后都會返回一個新RDD，供給下一個轉換算子使用。面，我們通過結合具體的示例對這些轉換算子API進行詳細講解。 查看全文>>

    大數(shù)據(jù)技術文章2020-12-21 |傳智教育 |RDD,轉換算子,RDD數(shù)據(jù)處理

  • 

    Scala語言是什么？有什么特點？如何安裝？

    Scala于2001年由瑞士洛桑聯(lián)邦理工學院(EPFL)編程方法實驗室研發(fā)，它由Martin Odersky(馬丁·奧德斯基)創(chuàng)建。目前，許多公司依靠Java進行的關鍵性業(yè)務應用已轉向或正在轉向Scala，以提高應用程序的可擴展性和整體的可靠性，從而提高開發(fā)效率。Scala是Scalable Language的簡稱，它是一門多范式的編程語言，其設計初衷是實現(xiàn)種可擴展的語言，并集成面向對象編程和函數(shù)式編程的各種特性?；谶@個目標與設計，Scala具有以下顯著的特性。 查看全文>>

    大數(shù)據(jù)技術文章2020-12-21 |傳智教育 |Scala語言是什么,Scala特點

  • 

    怎樣使用Spark Shell來讀取HDFS文件？

    使用Scala語言開發(fā)單詞計數(shù)Spark程序，現(xiàn)有文本文件words.txt(讀者需要在本地創(chuàng)建文件并上傳至指定目錄)在HDFS中的/spark/test路徑下如果使用Spark Shell來讀取HDFS中的/spark/test/ words.txt文件，具體步驟如下： 查看全文>>

    大數(shù)據(jù)技術文章2020-12-21 |傳智教育 |Shell讀取文件,運行Spark

  • 

    Scala的控制結構語句有幾種？各語句的語法格式是什么？

    在Scala中，控制結構語句包括條件分支語句和循環(huán)語句。其中，條件分支語句有if語句、if...else語句、if...else if...else語句以及if...else嵌套語句;循環(huán)語句有for循環(huán)，while循環(huán)和do...while循環(huán)。條件分支語句和循環(huán)語句的語法格式具體如下。 查看全文>>

    大數(shù)據(jù)技術文章2020-12-17 |傳智教育 |控制結構語句的語法格式

  • 

    IDEA工具開發(fā)WordCount單詞計數(shù)程序的相關步驟有哪些？

    Spark作業(yè)與MapReduce作業(yè)同樣可以先在本地開發(fā)測試，本地執(zhí)行模式與集群提交模式，代碼的業(yè)務功能相同，因此本書大多數(shù)采用本地開發(fā)模式。下面講解使用IDEA工具開發(fā)WordCount單詞計數(shù)程序的相關步驟。 查看全文>>

    大數(shù)據(jù)技術文章2020-12-17 |傳智教育 |開發(fā)WordCount單詞計數(shù)程序的相關步驟,Spark

  << < 1 2 3 4 5 6 7 8 9 ... 35 > >>