全部 Python+大數(shù)據(jù)新聞動(dòng)態(tài) Python+大數(shù)據(jù)技術(shù)文章 Python+大數(shù)據(jù)學(xué)習(xí)常見問題 技術(shù)問答

• • 

    大數(shù)據(jù)培訓(xùn)：常用工作流管理器介紹

    針對多任務(wù)、可視化調(diào)度的調(diào)度需求，Apache以及其他組織提供了一系列工作流管理器，包括Oozie、Azkaban、Zeus、Dagobah、Luigi、Pinball和Airflow等。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-12-11 |傳智教育 |常用工作流管理器介紹

  • 

    實(shí)際生產(chǎn)中Yarn的隊(duì)列如何設(shè)置?

    在實(shí)際生產(chǎn)中，YARN(Yet Another Resource Negotiator)的隊(duì)列可以通過以下步驟進(jìn)行設(shè)置。YARN是Apache Hadoop的資源管理器，用于管理集群資源和任務(wù)調(diào)度。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-12-08 |傳智教育 |實(shí)際生產(chǎn)中Yarn的隊(duì)列如何設(shè)置

  • 

    Spark的寬窄依賴是什么意思?

    在Spark中，寬窄依賴(Wide vs Narrow Dependency)指的是作業(yè)(Job)中不同RDD(Resilient Distributed Dataset)之間的依賴關(guān)系類型。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-12-07 |傳智教育 |Spark的寬窄依賴是什么意思

  • 

    Spark遇到數(shù)據(jù)傾斜怎么辦?

    當(dāng)Spark遇到數(shù)據(jù)傾斜時(shí)，這可能導(dǎo)致作業(yè)性能下降。數(shù)據(jù)傾斜是指數(shù)據(jù)在分區(qū)中分布不均勻，導(dǎo)致部分任務(wù)處理了大部分?jǐn)?shù)據(jù)而其他任務(wù)處理了很少的數(shù)據(jù)。以下是一些解決數(shù)據(jù)傾斜的方法 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-12-06 |傳智教育 |Spark遇到數(shù)據(jù)傾斜怎么辦

  • 

    實(shí)際生產(chǎn)中Yarn的隊(duì)列如何設(shè)置?

    Yarn是Apache Hadoop的資源管理器，用于分配和管理集群資源。在實(shí)際生產(chǎn)中，配置Yarn的隊(duì)列非常重要，可以根據(jù)不同的業(yè)務(wù)需求和優(yōu)先級來管理資源。以下是設(shè)置Yarn隊(duì)列的一般步驟和考慮因素。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-12-05 |傳智教育 |實(shí)際生產(chǎn)中Yarn的隊(duì)列如何設(shè)置

  • 

    RDD緩存具有哪些特點(diǎn)？

    RDD之間進(jìn)行相互迭代計(jì)算(Transformation的轉(zhuǎn)換)，當(dāng)執(zhí)行開啟后，新RDD的生成，代表老RDD的消失。RDD的數(shù)據(jù)是過程數(shù)據(jù)，只在處理的過程中存在，一旦處理完成，就不見了。這個(gè)特性可以最大化的利用資源，老舊RDD沒用了就從內(nèi)存中清理，給后續(xù)的計(jì)算騰出內(nèi)存空間。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-12-04 |傳智教育 |RDD緩存具有哪些特點(diǎn)

  • 

    大數(shù)據(jù)培訓(xùn)：datanode在什么情況下不會(huì)備份?

    一般在非正常斷電或強(qiáng)制關(guān)閉下不會(huì)備份。在Hadoop分布式文件系統(tǒng)(HDFS)中，DataNode通常不會(huì)備份數(shù)據(jù)。DataNode是HDFS的組件之一，負(fù)責(zé)存儲(chǔ)實(shí)際的數(shù)據(jù)塊，并按需傳輸這些數(shù)據(jù)給客戶端。備份通常由另一個(gè)重要組件NameNode來處理。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-12-04 |傳智教育 |datanode在什么情況下不會(huì)備份

  • 

    二分查找的思想是什么?

    二分查找(Binary Search)是一種在有序數(shù)組中查找特定元素的搜索算法。它的思想是不斷將待查找區(qū)間分成兩部分，并通過比較目標(biāo)值與中間元素的大小關(guān)系來確定目標(biāo)值可能存在的區(qū)間，從而縮小搜索范圍，直到找到目標(biāo)值或確定目標(biāo)值不存在為止。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-11-30 |傳智教育 |二分查找的思想是什么

  << < 1 2 3 4 5 6 7 8 9 ... 159 > >>