全部 Python+大數(shù)據新聞動態(tài) Python+大數(shù)據技術文章 Python+大數(shù)據學習常見問題 技術問答

• • 

    kafka什么時候會做rebalance重平衡?

    當一個新的消費者加入到群組中時，或者一個已經離開的消費者重新加入，都可能觸發(fā)Rebalance。這可能是由于新的消費者希望加入消費者群組，或者舊的消費者重新加入，這樣就需要重新分配分區(qū)。 查看全文>>

    Python+大數(shù)據學習常見問題2024-02-02 |傳智教育 |kafka什么時候會做rebalance重平衡

  • 

    從原理上說一下mpp和mr的區(qū)別?

    MPP(Massively Parallel Processing)和MR(MapReduce)是兩種不同的數(shù)據處理框架，用于處理大規(guī)模數(shù)據集。它們有一些相似之處，但在原理和實現(xiàn)上存在一些顯著的區(qū)別。 查看全文>>

    Python+大數(shù)據學習常見問題2024-02-01 |傳智教育 |從原理上說一下mpp和mr的區(qū)別

  • 

    簡述Hive的行轉列和列轉行函數(shù)

    Hive是一個基于Hadoop的數(shù)據倉庫工具，用于處理大規(guī)模的數(shù)據集。在Hive中，有一些函數(shù)可用于行轉列(Pivot)和列轉行(Unpivot)操作。這些函數(shù)主要用于將表中的數(shù)據在行和列之間進行轉換。 查看全文>>

    Python+大數(shù)據學習常見問題2024-01-31 |傳智教育 |Hive的行轉列和列轉行函數(shù)

  • 

    reduceBykey和groupBykey有啥區(qū)別嗎?

    reduceByKey和groupByKey是Spark中的兩個不同的轉換操作，用于處理鍵值對(key-value pairs)的RDD(Resilient Distributed Dataset)。它們之間的主要區(qū)別在于它們執(zhí)行的操作和結果的組織方式。 查看全文>>

    Python+大數(shù)據學習常見問題2024-01-30 |傳智教育 |reduceBykey和groupBykey有啥區(qū)別

  • 

    fsimage和edit的區(qū)別是什么?

    在Hadoop分布式文件系統(tǒng)(HDFS)中，fsimage和edits是兩個關鍵的元數(shù)據文件，用于記錄文件系統(tǒng)的狀態(tài)和變更。它們一起工作以維護文件系統(tǒng)的一致性和持久性。以下是它們的主要區(qū)別： 查看全文>>

    Python+大數(shù)據學習常見問題2024-01-29 |傳智教育 |fsimage和edit的區(qū)別

  • 

    scrapy的去重原理是什么?

    Scrapy是一個用于爬取網站數(shù)據的Python框架，它內置了一個去重(Duplicate Removal)的機制，以確保在爬取過程中不會重復獲取相同的數(shù)據。Scrapy的去重原理主要基于請求的指紋(fingerprint)來進行判斷。以下是Scrapy去重的詳細說明。 查看全文>>

    Python+大數(shù)據學習常見問題2024-01-26 |傳智教育 |scrapy的去重原理

  • 

    Namenode、Job tracker和task tracker的端口號是?

    在Hadoop 1.x版本中，NameNode、JobTracker和TaskTracker的默認端口號如下。 查看全文>>

    Python+大數(shù)據學習常見問題2024-01-25 |傳智教育 |Namenode、Job tracker和task tracker的端口號

  • 

    Map到Reduce默認的分區(qū)機制是什么?

    在MapReduce中，默認的分區(qū)機制是基于鍵(key)的哈希分區(qū)(Hash Partitioning)。MapReduce框架將Map階段產生的鍵值對按照鍵進行哈希運算，然后將結果對分區(qū)數(shù)取模，從而確定每個鍵值對應的分區(qū)。這樣可以確保具有相同鍵的鍵值對會被分配到相同的分區(qū)，方便后續(xù)的Reduce階段進行處理。 查看全文>>

    Python+大數(shù)據學習常見問題2024-01-24 |傳智教育 |Map到Reduce默認的分區(qū)機制

  << < 1 2 3 4 5 6 7 8 9 ... 48 > >>