教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000    舉報郵箱:mc@itcast.cn

Python+大數(shù)據(jù)課程體系V3.2

聚集多位Apache?社區(qū)貢獻者及大廠技術(shù)講師,聯(lián)合推出行業(yè)重磅Python大數(shù)據(jù)V3.2課程,通過5-6個月學(xué)習(xí)進階數(shù)據(jù)開發(fā)工程師,獲取3-4年開發(fā)經(jīng)驗,對標(biāo)高級數(shù)據(jù)開發(fā)工程師

Python+大數(shù)據(jù)V3.2學(xué)習(xí)路線概覽

升級V3.2課程亮點:

  • 六項目制,40+天項目占比對標(biāo)企業(yè)實際招聘需求,采用六個不同行業(yè)大數(shù)據(jù)項目,覆蓋從離線到實時計算場景,更好的匹配學(xué)員能力
  • 大廠級技術(shù)解決方案,Apache貢獻者領(lǐng)銜授課課程覆蓋了數(shù)字化轉(zhuǎn)型企業(yè)主流的技術(shù)和業(yè)務(wù)解決方案。
    6個技術(shù)解決方案:包括ETL、離線數(shù)倉、用戶畫像、Lambda架構(gòu)、Kappa架構(gòu)、湖倉一體等;
    多個業(yè)務(wù)解決方案:包括國內(nèi)大型商超新零售、金融保險、金融證券、物流倉儲、航空、電商、出行、教育、物聯(lián)網(wǎng)等領(lǐng)域

敢以班級為單位公開就業(yè)信息的機構(gòu),只有傳智教育!通過數(shù)千班級實施和就業(yè)結(jié)果顯示,傳智教育Python+大數(shù)據(jù)開發(fā)的課程,有效大幅提升就業(yè)薪資水平!

課程大綱

  1. 基礎(chǔ)班

    1. SQL基礎(chǔ)

  2. 高手班

    1. Hadoop技術(shù)棧 2. 千億級離線數(shù)倉項目 3. 千億級離線數(shù)倉項目實戰(zhàn) 4. Python基礎(chǔ)編程 5. ETL實戰(zhàn) 6. BI報表開發(fā)項目實戰(zhàn) 7. Spark技術(shù)棧 8. 用戶畫像解決方案 9. PB級內(nèi)存計算項目實戰(zhàn) 10. 基于AI大模型數(shù)據(jù)開發(fā)項目實戰(zhàn) 11. 面試加強 12. 阿里云實時計算Flink全棧開發(fā) 13. 阿里云實時計算項目

  3. 進階班

    1. 亞秒級實時進階課

  4. Python+大數(shù)據(jù)課程升級版本V4.0

  • SQL基礎(chǔ)基礎(chǔ)班 1

    課時:8天 技術(shù)點:50項 測驗:1次 學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1. 掌握MySQL數(shù)據(jù)庫的使用| 2. 掌握SQL語法| 3. 掌握Kettle數(shù)據(jù)遷移工具的使用| 4. 熟練使用BI可視化工具| 5. 對數(shù)據(jù)開發(fā)有一定認(rèn)知,掌握BI工程師所具備的基本技能

    主講內(nèi)容

    1. Linux操作系統(tǒng)零基礎(chǔ)入門Linux操作系統(tǒng),掌握Linux基礎(chǔ)命令。

    計算機基礎(chǔ)知識|Linux環(huán)境安裝|遠程連接工具|文件操作命令|壓縮解壓縮命令|文件查找命令|系統(tǒng)管理命令|權(quán)限管理|網(wǎng)絡(luò)服務(wù)管理命令等。

    2. MySQL與SQL零基礎(chǔ)小白通過MySQL數(shù)據(jù)庫,掌握核心必備SQL。

    數(shù)據(jù)庫環(huán)境搭建|SQL語言(DDL、DML、DQL)|多表查詢|索引等。

    3. Kettle與BI工具使用Kettle做數(shù)據(jù)遷移,通過BI工具展示Excel、MySQL中的數(shù)據(jù)。

    數(shù)據(jù)倉庫與ETL|Kettle安裝部署|數(shù)據(jù)抽取與裝載入門|表輸入組件|表輸出|插入/更新|switch/case等組件使用,開發(fā)Kettle作業(yè)等。

    4. 電商運營指標(biāo)分析通過Kettle+MySQL+FineBI完成電商運營指標(biāo)分析。

    電商業(yè)務(wù)背景|案例架構(gòu)|數(shù)據(jù)倉庫數(shù)據(jù)增量同步|ETL開發(fā)|指標(biāo)SQL開發(fā)|Kettle作業(yè)調(diào)度|FineBi可視化展示等。

  • Hadoop技術(shù)棧高手班 1

    課時:11天 技術(shù)點:120項 測驗:1次 學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1.掌握Linux常用命令,為數(shù)據(jù)開發(fā)后續(xù)學(xué)習(xí)打下的良好基礎(chǔ)| 2.掌握大數(shù)據(jù)的核心框架Hadoop以及其生態(tài)體系,完成HDFS、MapReduce及Yarn機制基本理解與使用;能顧搭建Hadoop高可用HA集群| 3.掌握Hive的使用和調(diào)優(yōu)| 4.具備Hadoop開發(fā)能力、離線數(shù)據(jù)倉庫開發(fā)能力| 5.能夠完成基本構(gòu)建企業(yè)級數(shù)倉

    主講內(nèi)容

    1. Linux掌握Linux操作系統(tǒng)常用命令和權(quán)限管理,包含了以下技術(shù)點:

    01_Linux系統(tǒng)安裝和體驗| 02_Linux系統(tǒng)網(wǎng)絡(luò)配置和連接工具| 03_Linux系統(tǒng)目錄結(jié)構(gòu)| 04_Linux命令使用| 05_Linux命令選項的使用| 06_遠程登錄和遠程拷貝| 07_Linux權(quán)限管理| 08_vi編輯器使用| 09_Sed| 10_AWK| 11_權(quán)限管理

    2. 大數(shù)據(jù)基礎(chǔ)和硬件介紹進一步闡述大數(shù)據(jù)特點與分布式思想,知識點由淺入深,包含了以下技術(shù)點:

    01_大數(shù)據(jù)的特點| 02_分布式存儲概念| 03_分布式計算的概念| 04_服務(wù)器種類介紹、機架、交換機| 05_網(wǎng)絡(luò)拓?fù)?、Raid、IDC數(shù)據(jù)中心| 06_Linux shell編程、awk、sed、cut、ssh、scp、expect、yum、nestat、top 、iostat等高級命令使用

    3. Zookeeper分布式軟件管家,實現(xiàn)了集群管理與leader選舉,包含了以下技術(shù)點:

    01_Zookeeper的應(yīng)用場景| 02_架構(gòu)和原理| 03_存儲模型| 04_選舉機制| 05_客戶端操作

    4. HDFS分布式文件系統(tǒng),解決了海量數(shù)據(jù)存儲與容錯,包含了以下技術(shù)點:

    01_HDFS設(shè)計的特點| 02_Master-Slave架構(gòu)| 03_Block塊存儲、RF拷貝因子、機架感知| 04_Block拷貝策略、讀寫流程| 05_HDFS Federation、HDFS Snapshots0、NameNode HA架構(gòu)和原理| 06_HDFS管理員常用操作、HDFS權(quán)限控

    5. MapReduce分布式計算系統(tǒng),解決海量數(shù)據(jù)的計算,包含了以下技術(shù)點:

    01_MapReduce架構(gòu)和原理| 02_Split機制| 03_MapReduce并行度| 04_Combiner機制| 05_Partition機制、自定義Partition| 06_MapReduce序列化、自定義排序、數(shù)據(jù)壓縮

    6. YARN分布式資源調(diào)度管理器,管理服務(wù)器軟件資源,包含了以下技術(shù)點:

    01_Yarn原理和架構(gòu)| 02_Yarn高可用| 03_Container資源的封裝(CPU、內(nèi)存和IO)| 04_資源調(diào)度策略(FIFO、Fair和Capacity)

    7. Hive基礎(chǔ)數(shù)據(jù)倉庫Hive,實現(xiàn)企業(yè)級數(shù)倉必備工具,包含以下知識點:

    01_HQL操作| 02_數(shù)據(jù)類型| 03_分區(qū)、分桶、臨時表| 04_.explain執(zhí)行計劃詳解

    8. Hive進階數(shù)據(jù)倉庫Hive高階原理和架構(gòu)深入,實現(xiàn)企業(yè)級數(shù)倉優(yōu)化,包含以下知識點:

    01_Hive原理和架構(gòu) 02_Meta Store服務(wù) 03_HiveServer內(nèi)置函數(shù) 04_自定義UDF和UDAF 05_數(shù)據(jù)壓縮、存儲格式、自動化腳本、常見性能優(yōu)化

  • 千億級離線數(shù)倉項目高手班 2

    課時:11天技術(shù)點:105項測驗:0次學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1.掌握泛電商行業(yè)離線數(shù)倉的分層與建模,從需求、設(shè)計、研發(fā)、測試到落地上線的完整項目流程| 2.行業(yè)內(nèi)首個深度講解數(shù)倉建模模型方案的主體項目| 3.包括海量數(shù)據(jù)場景下如何優(yōu)化配置| 4.掌握項目遷移能力,能夠?qū)㈨椖窟w移至泛電商的各個領(lǐng)域| 5.掌握在泛電商行業(yè)中關(guān)于全量與增量數(shù)據(jù)處理模式| 6.提供泛電商行業(yè)下的數(shù)據(jù)存儲分析以及服務(wù)監(jiān)控方案

    本項目基于某泛電商研發(fā)的大數(shù)據(jù)分析平臺。項目原型來自于某大型生鮮平臺,完全模擬企業(yè)真實數(shù)倉開發(fā)模式,擁有真實的主題化開發(fā);真實的數(shù)據(jù)結(jié)構(gòu),復(fù)雜的SQL實現(xiàn)過程,學(xué)生學(xué)習(xí)以后可以開發(fā)企業(yè)級離線數(shù)倉的水平。

    進入項目體驗
    主講解決方案

    項目介紹與環(huán)境準(zhǔn)備、數(shù)據(jù)遷移與數(shù)倉分層設(shè)計、核心五大主題域開發(fā)、基于Fine Report的大屏展示、基于海豚調(diào)度的全流程項目上線實施,提供新泛電商大型商超集團的數(shù)據(jù)存儲分析以及服務(wù)監(jiān)控方案。

    主講知識點

    1.大數(shù)據(jù)部署運維:Cloudera Manager| 2.分析決策需求數(shù)據(jù)倉庫:Hive| 3.數(shù)據(jù)采集:DataX| 4.數(shù)據(jù)分析:Hive| 5.數(shù)據(jù)調(diào)度:Dolphinscheduler| 6.OLAP系統(tǒng)存儲:PostgreSql| 7.Fine Report數(shù)據(jù)報表與大屏| 8.數(shù)倉建模: 范式與維度建模| 9.五大核心主題域開發(fā): 銷售域、供應(yīng)鏈域、會員域等

  • 千億級離線數(shù)倉項目實戰(zhàn)高手班 3

    課時:5天技術(shù)點:40項測驗:0次學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1.掌握教育行業(yè)離線數(shù)倉的分層與建模,從需求、設(shè)計、研發(fā)、測試到落地上線的完整項目流程| 2.真實業(yè)務(wù)邏輯,共涉及20多個主題,100多個指標(biāo),提升學(xué)員在教育行業(yè)中的核心競爭力| 3.包括海量數(shù)據(jù)場景下如何優(yōu)化配置| 4.拉鏈表的具體應(yīng)用| 5.新增數(shù)據(jù)和更新數(shù)據(jù)的抽取和分析| 6.Hive函數(shù)的具體應(yīng)用| 7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能

    受互聯(lián)網(wǎng)+概念的催化,教育市場發(fā)展火熱,越來越多的教育機構(gòu)和平臺不斷涌現(xiàn),包括有線上學(xué)習(xí)和線下培訓(xùn),K12教育和職業(yè)教育等。

    進入項目體驗
    主講解決方案

    掌握離線數(shù)倉的分層與建模、大數(shù)據(jù)量場景下如何優(yōu)化配置,拉鏈表的具體應(yīng)用,新增數(shù)據(jù)的抽取和分析,更新數(shù)據(jù)的抽取和分析,以及Hive函數(shù)的具體應(yīng)用等。ClouderaManager可視化、自動部署和配置、Git的CodeReview功能保證項目高質(zhì)量。 離線數(shù)倉的分層與建模 項目涉及20多個主題,100多個指標(biāo)場景 帆軟BI企業(yè)級報表展示。

    主講知識點

    1.大數(shù)據(jù)部署運維:Cloudera Manager| 2.分析決策需求:數(shù)據(jù)倉庫| 3.數(shù)據(jù)倉庫:Hive| 4.數(shù)據(jù)采集:sqoop| 5.數(shù)據(jù)分析:Hive| 6.歷史數(shù)據(jù)快照:拉鏈表| 7.數(shù)據(jù)調(diào)度:oozie+shell| 8.OLAP系統(tǒng)存儲:MySQL| 9.FineBI數(shù)據(jù)展示

  • Python基礎(chǔ)編程高手班 4

    課時:8天 技術(shù)點:100項 測驗:1次 學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1.掌握Python開發(fā)環(huán)境基本配置| 2.掌握運算符、表達式、流程控制語句、數(shù)組等的使用| 3.掌握字符串的基本操作| 4.初步建立面向?qū)ο蟮木幊趟季S| 5.熟悉異常捕獲的基本流程及使用方式| 6.掌握類和對象的基本使用方式| 7.掌握網(wǎng)絡(luò)編程技術(shù),能夠?qū)崿F(xiàn)網(wǎng)絡(luò)通訊| 8.知道多進程多線程的原理

    主講內(nèi)容

    1. Python基礎(chǔ)語法零基礎(chǔ)學(xué)習(xí)Python的開始,包含了以下技術(shù)點:

    01_計算機基礎(chǔ)知識| 02_認(rèn)識Python| 03_環(huán)境搭建| 04_第一個Python程序| 05_注釋| 06_變量| 07_標(biāo)識符和關(guān)鍵字| 08_輸入和輸出| 09_運算符| 10_數(shù)據(jù)類型轉(zhuǎn)換| 11_PEP8編碼規(guī)范| 12_比較/關(guān)系運算符| 13_if判斷語句語法格式| 14_三目運算符| 15_while語句語法格式| 16_while 循環(huán)嵌套| 17_break 和 continue| 18_while 循環(huán)案例| 19_for循環(huán)

    2. Python數(shù)據(jù)處理掌握Python的數(shù)據(jù)類型,并對其進行操作處理,包含了以下技術(shù)點:

    01_字符串定義語法格式| 02_字符串遍歷| 03_下標(biāo)和切片| 04_字符串常見操作| 05_列表語法格式| 06_列表的遍歷| 07_列表常見操作| 08_列表嵌套| 09_列表推導(dǎo)式| 10_元組語法格式| 11_元組操作| 12_字典語法格式| 13_字典常見操作| 14_字典的遍歷| 15_集合的操作

    3. 函數(shù)能夠?qū)崿F(xiàn)Python函數(shù)的編寫,包含了以下技術(shù)點:

    01_函數(shù)概念和作用、函數(shù)定義、調(diào)用| 02_函數(shù)的參數(shù)| 03_函數(shù)的返回值| 04_函數(shù)的注釋| 05_函數(shù)的嵌套調(diào)用| 06_可變和不可變類型| 07_局部變量| 08_全局變量| 09_組包和拆包、引用

    4. 文件讀寫能夠使用Python對文件進行操作,包含了以下技術(shù)點:

    01_文件的打開與關(guān)閉、文件的讀寫| 02_文件、目錄操作及案例| 03_os模塊文件與目錄相關(guān)操作

    5. 異常處理主要介紹了在Python編程中如何處理異常,包含了以下技術(shù)點:

    01_異常概念| 02_異常捕獲| 03_自定義異常

    6. 模塊和包主要介紹了Python中的模塊和包的體系,以及如何使用模塊和包,包含了以下技術(shù)點:

    01_模塊介紹| 02_模塊的導(dǎo)入| 03_包的概念| 04_包的導(dǎo)入| 05_模塊中的__all__| 06_模塊中__name__| 07_自定義模塊| 08_Python中的包

    7. Python面向?qū)ο?/span>從逐步建立起面向?qū)ο缶幊趟枷耄俚綍褂脤ο?,到?chuàng)建對象,再到真正理解為什么封裝對象,包含了以下技術(shù)點:

    01_面向?qū)ο蠼榻B| 02_類的定義和對象的創(chuàng)建| 03_添加和獲取對象屬性| 04_self 參數(shù)| 05_init方法| 06_繼承| 07_子類方法重寫| 08_類屬性和實例屬性| 09_類方法、實例方法、靜態(tài)方法

    8. Python高級語法主要學(xué)習(xí)Python的高級語法,包含以下技術(shù)點:

    01_閉包| 02_裝飾器| 03_深淺拷貝| 04_正則

    9. Python多任務(wù)編程主要學(xué)習(xí)Python中多線程、多進程,包含了以下技術(shù)點:

    01_多任務(wù)介紹| 02_多進程的使用| 03_多線程的使用| 04_線程同步

    10. Python網(wǎng)絡(luò)編程主要學(xué)習(xí)通訊協(xié)議,以及Python實現(xiàn)TCP、HTTP通訊,包含了以下技術(shù)點:

    01_IP地址的介紹| 02_端口和端口號的介紹| 03_TCP的介紹| 04_Socket的介紹| 05_TCP網(wǎng)絡(luò)應(yīng)用的開發(fā)流程| 06_基于TCP通信服務(wù)程序開發(fā)| 07_必備前端基礎(chǔ)知識| 08_HTTP協(xié)議與Web服務(wù)開發(fā)案例

  • ETL實戰(zhàn)高手班 5

    課時:5天 技術(shù)點:48項 測驗:0次 學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1.掌握ETL的相關(guān)概念| 2.掌握基于Python語言完成ETL任務(wù)開發(fā)實戰(zhàn)| 3.基于ETL實戰(zhàn)鍛煉Python編程能力,包括(元數(shù)據(jù)管理、數(shù)據(jù)模型、項目配置、單元測試、工具方法抽取等)| 4.掌握BI數(shù)據(jù)分析實戰(zhàn)

    主講內(nèi)容

    1. ETL概念與工具零基礎(chǔ)掌握ETL基礎(chǔ)概念與常見ETL工具。

    01_ETL簡介| 02_ETL流程介紹| 03_ETL工具介紹

    2. Python ETL實戰(zhàn)掌握零售行業(yè)ETL項目,完成ETL全流程開發(fā)。

    01_ETL項目實操| 02_FineBI基礎(chǔ)使用| 03_FineBI項目展示

  • BI報表開發(fā)項目實戰(zhàn)高手班 6

    課時:3天 技術(shù)點:40項 測驗:1次 學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1.掌握BI報表開發(fā)需求分析| 2.掌握BI報表工具| 3.掌握FineReport報表

    主講內(nèi)容

    1. BI報表開發(fā)掌握BI報表開發(fā)常見流程和工具,完成電商行業(yè)BI報表開發(fā)

    01_BI報表開發(fā)需求分析| 02_BI報表工具| 03_FineReport報表入門| 04_泛電商行業(yè)五大主題的實現(xiàn)

  • Spark技術(shù)棧高手班 7

    課時:10天 技術(shù)點:110項 測驗:1次 學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1.掌握Spark的RDD、DAG、CheckPoint等設(shè)計思想| 2.掌握SparkSQL結(jié)構(gòu)化數(shù)據(jù)處理,Spark On Hive| 3.掌握Structured Streaming整合多數(shù)據(jù)源完成實時數(shù)據(jù)處理| 4.具備Spark全棧開發(fā)能力,滿足大數(shù)據(jù)行業(yè)多場景統(tǒng)一技術(shù)棧的數(shù)據(jù)開發(fā),提供就業(yè)核心競爭力

    主講內(nèi)容

    1. Spark基礎(chǔ)本階段學(xué)習(xí)Spark環(huán)境搭建及以下知識點:

    01_Spark基礎(chǔ)環(huán)境搭建| 02_Spark的Standalone環(huán)境搭建| 03_Spark的StandaloneHA搭建| 04_SparkOnYarn環(huán)境搭建

    2. Spark Core整個Spark框架核心部分,掌握框架內(nèi)部設(shè)計思想,數(shù)據(jù)流轉(zhuǎn)步驟,是學(xué)習(xí)Spark的基礎(chǔ)模塊,包含了以下技術(shù)點:

    01_Spark架構(gòu)和原理(運行機制、Driver和Executor、spark任務(wù)提交流程)| 02_RDD開發(fā)和原理(Partition、Task、RDD的依賴關(guān)系、RDD的容錯機制、RDD的存儲級別、RDD的緩存機制)廣播變量 | 03_DAG原理(DAG思想、DAG的生成、DAG的處理過程)

    3. Spark SQL學(xué)習(xí)Spark框架的SQL操作,Spark與Hive等外部數(shù)據(jù)源的整合操作,包含了以下技術(shù)點:

    01_Spark SQL架構(gòu)和原理| 02_DataFrame、DataSet DSL和SQL開發(fā)| 03_Spark多數(shù)據(jù)源整合(txt、CSV、Json、parquet、JDBC、Hive)| 04_Spark SQL執(zhí)行計劃原理| 05_Spark SQL性能調(diào)優(yōu)

    4. Kafka消息隊列主要講解消息中間件核心知識,包括知識點如下:

    01_Kafka原理及架構(gòu)分析| 02_分布式實時計算架構(gòu)和思想| 03_陌陌社交場景實戰(zhàn)| 04_社交大數(shù)據(jù)架構(gòu)剖析

    5. StructedStreaming主要講解Spark實時計算組件,整合Kafka+StructedStreaming,包括知識點如下:

    01_流式計算基礎(chǔ)概念| 02_Structured Streaming編程模型| 03_Structured Streaming整合Kafka| 04_Structured Streaming實時數(shù)據(jù)處理與統(tǒng)計分析

    6. Spark案例實戰(zhàn)踐行場景式教學(xué),運用了Spark階段知識點,使用Lambda加解決數(shù)據(jù)分析的應(yīng)用,包含了以下技術(shù)點:

    Spark案例實戰(zhàn)|Kafka和Structed Streaming

  • 用戶畫像解決方案高手班 8

    課時:10天技術(shù)點:90項測驗:0次學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1. 掌握SparkSQL整合ES自定義數(shù)據(jù)源| 2. 掌握用戶畫像構(gòu)建流程| 3. 掌握用戶畫像標(biāo)簽構(gòu)建規(guī)則| 4. 掌握用戶畫像規(guī)則類標(biāo)簽構(gòu)建| 5. 掌握用戶畫像統(tǒng)計類標(biāo)簽構(gòu)建

    項目提供了全行業(yè)用戶畫像解決方案, 使用SparkSQL+ES+DS構(gòu)建企業(yè)級用戶畫像,通過SparkSQL+MySQL構(gòu)建通用行業(yè)用戶畫像標(biāo)簽體系。

    進入項目體驗
    主講解決方案

    用戶畫像解決方案,主要針對于泛電商或保險行業(yè)完成用戶標(biāo)簽設(shè)計,提供了全行業(yè)解決方案,課程采用由淺入深,層層遞進的講解方式, 讓你輕松掌握企業(yè)級用戶畫像的使用, 使用SparkSQL+ES+DS構(gòu)建企業(yè)級用戶畫像。

    主講知識點

    01_SparkSQL整合ES自定義數(shù)據(jù)源| 02_DS任務(wù)界面化調(diào)度| 03_用戶畫像標(biāo)簽構(gòu)建規(guī)則| 04_用戶畫像規(guī)則類標(biāo)簽構(gòu)建| 05_用戶畫像統(tǒng)計類標(biāo)簽構(gòu)建

  • PB級內(nèi)存計算項目實戰(zhàn)高手班 9

    課時:3天技術(shù)點:88項測驗:0次學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1.掌握保險行業(yè)數(shù)據(jù)分析流程| 2.掌握保費計算流程| 3.掌握DS調(diào)度流程| 4.掌握UDAF使用場景

    保險精算項目需要計算海量明細(xì)保單數(shù)據(jù),以便生成財務(wù)報表。項目使用SparkSQL來計算,時效變快,增強保險公司的商業(yè)信譽。項目將多部門的業(yè)務(wù)數(shù)據(jù)庫同步到hive數(shù)據(jù)集市,使用SparkSQL加載源數(shù)據(jù)表(保單表12億保單,客戶表8千萬客戶等),計算保單的保費、現(xiàn)金價值、準(zhǔn)備金等明細(xì),提供給財務(wù)部門收費或支出,對保單匯總計算(業(yè)務(wù)發(fā)展類指標(biāo),成本費用類指標(biāo)等),并向業(yè)務(wù)人員做數(shù)據(jù)展示。

    進入項目體驗
    主講解決方案

    項目核心架構(gòu)和業(yè)務(wù)流程、Hive數(shù)倉建模 、Sqoop數(shù)據(jù)同步開發(fā) DolphinScheduler任務(wù)調(diào)度、使用lag,sum等窗口函數(shù) 、使用UDAF函數(shù)計算有效保單數(shù)字段、計算現(xiàn)金價值、計算和準(zhǔn)備金、分區(qū)表的使用 、指標(biāo)匯總計算 、Shuffle優(yōu)化。

    主講知識點

    基于Spark輕松應(yīng)對保險復(fù)雜的迭代計算

  • 基于AI大模型數(shù)據(jù)開發(fā)項目實戰(zhàn)高手班 10

    課時:2天 技術(shù)點:30項 測驗:1次 學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1.完成ChatGPT基礎(chǔ)使用| 2.基于ChatGPT可以完成改Bug,寫注釋,生成代碼等常見編程任務(wù)| 3.能夠基于合理的Prompts提示詞進行提問,助力提升編程效率

    主講內(nèi)容

    1. AI大模型提升數(shù)據(jù)開發(fā)效率掌握基于AI大模型完成大數(shù)據(jù)開發(fā)任務(wù),助力開發(fā)效率提升

    01_ChatGPT生成代碼| 02_ChatGPT改Bug| 03_基于AI大模型的出行大數(shù)據(jù)平臺數(shù)倉搭建| 04_基于AI大模型指標(biāo)開發(fā)

  • 面試加強高手班 11

    課時:4天 技術(shù)點:40項 測驗:0次 學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1.強化面試就業(yè)核心面試題| 2.梳理大數(shù)據(jù)架構(gòu)及解決方案| 3.剖析多行業(yè)大數(shù)據(jù)架構(gòu)

    主講內(nèi)容

    1. SQL實戰(zhàn)解決Python大數(shù)據(jù)常見的SQL面試題,包含了以下技術(shù)點:

    01_面試題必備SQL實戰(zhàn)| 02_SQL優(yōu)化加強

    2. Hive數(shù)據(jù)分析與面試題加強解決Hive數(shù)據(jù)分析開發(fā)必備面試題,包含了以下技術(shù)點:

    01_Hive基礎(chǔ)| 02_Hive拉鏈表| 03_Hive數(shù)據(jù)倉庫構(gòu)建示例| 04_Hive面試題

    3. Spark數(shù)據(jù)分析與面試題加強解決Spark開發(fā)必備面試題,包含了以下技術(shù)點:

    01_Spark基礎(chǔ)| 02_Spark離線分析| 04_Spark面試題

    4. 大數(shù)據(jù)多行業(yè)架構(gòu)剖析解決多行業(yè)多場景大數(shù)據(jù)架構(gòu)設(shè)計,具備舉一反三設(shè)計大數(shù)據(jù)架構(gòu)體系能來,包含了以下技術(shù)點:

    01_數(shù)據(jù)分析流程| 02_大數(shù)據(jù)架構(gòu)剖析| 03_多行業(yè)大數(shù)據(jù)架構(gòu)設(shè)計| 04_大數(shù)據(jù)存儲,調(diào)度等解決方案

  • 阿里云實時計算Flink全棧開發(fā)高手班 12

    課時:5天 技術(shù)點:80項 測驗:1次 學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1.掌握基于阿里云Flink進行實時和離線數(shù)據(jù)處理、分析| 2.掌握基于阿里云Flink的多流并行處理技術(shù)| 3.掌握FlinkCDC多數(shù)據(jù)源采集技術(shù)

    主講內(nèi)容

    1. 阿里云Flink入門掌握國內(nèi)最火的阿里云Flink技術(shù),完成SQL、Python等作業(yè)提交。

    01_阿里云賬號角色授權(quán)| 02_開通Flink全托管| 03_Flink SQL作業(yè)快速入門| 04_Flink JAR作業(yè)快速入門| 05_Flink Python作業(yè)快速入門| 06_數(shù)據(jù)庫實時入倉快速入門| 07_日志實時入倉快速入門

    2. Flink SQL掌握FlinkSQL流批一體開發(fā)流程,集成Flink核心窗口、水印、狀態(tài)管理等高級功能,助力高效開發(fā)。

    01_Flink SQL開發(fā)| 02_Hive + Flink SQL| 03_Watermark| 04_Checkpoint| 05_任務(wù)調(diào)度與負(fù)載均衡| 06_狀態(tài)管理| 07_Flink性能監(jiān)控| 08_Flink調(diào)優(yōu)| 09_Flink SQL執(zhí)行計劃

    3. Flink作業(yè)開發(fā)掌握Flink作業(yè)開發(fā)流程,完成不同方式的作業(yè)開發(fā)和調(diào)試。

    01_作業(yè)開發(fā)| 02_SQL作業(yè)開發(fā)| 03_JAR作業(yè)開發(fā)| 04_Python作業(yè)開發(fā)| 05_作業(yè)調(diào)試| 06_模板中心| 07_管理自定義連接器| 08_管理自定義函數(shù)(UDF)

    4. 阿里云Flink運維掌握Flink運維流程,針對不同場景通過不同解決方案,達到高效運維使用云平臺。

    01_權(quán)限管理| 02_RAM用戶授權(quán)| 03_作業(yè)操作賬號授權(quán)| 04_作業(yè)啟動| 05_作業(yè)停止| 06_管理作業(yè)版本| 07_修改作業(yè)配置| 08_查看作業(yè)詳情| 09_查看與修改作業(yè)運行狀態(tài)| 10_調(diào)優(yōu)診斷| 11_查看作業(yè)性能| 12_作業(yè)智能診斷| 13_配置自動調(diào)優(yōu)| 14_高性能Flink SQL優(yōu)化技巧| 15_作業(yè)狀態(tài)管理| 16_企業(yè)級狀態(tài)后端存儲介紹| 17_作業(yè)狀態(tài)集管理| 18_Flink State兼容性參考

  • 阿里云實時計算項目高手班 13

    課時:5天技術(shù)點:80項測驗:0次學(xué)習(xí)方式:線下面授

    學(xué)習(xí)目標(biāo)

    1.基于阿里云Flink + Kafka + Paimon 湖倉一體技術(shù)架構(gòu)| 2.基于FlinkCDC完成MySQL等數(shù)據(jù)源的數(shù)據(jù)采集| 3.FlinkSQL流批一體架構(gòu)實現(xiàn)實時數(shù)據(jù)計算| 4.使用Starrocks進行海量多維分析| 5.掌握數(shù)據(jù)報表分析| 6.掌握業(yè)務(wù)數(shù)據(jù)實時大屏場景實現(xiàn)

    本項目是基于某物流公司業(yè)務(wù)研發(fā)的智慧物流大數(shù)據(jù)平臺,公司業(yè)務(wù)網(wǎng)點覆蓋各地,大規(guī)模的客戶群體,日訂單達1000W,平臺對千億級數(shù)據(jù)進行整合、分析、處理,保障業(yè)務(wù)的順利進行。

    進入項目體驗
    主講解決方案

    采集超過千萬條在線視頻的數(shù)據(jù),實時高性能海量數(shù)據(jù)分析與存儲業(yè)務(wù)數(shù)據(jù)實時大屏場景實現(xiàn)。

    主講知識點

    基于Flink + Kafka + Paimon 湖倉一體技術(shù)架構(gòu),實現(xiàn)在線視頻行業(yè)大規(guī)模流數(shù)據(jù)處理和實時分析。本項目依托 阿里云 Flink 流處理計算引擎, 通過 FlinkCDC 實時采集 RDS MySQL 數(shù)據(jù)庫數(shù)據(jù),實現(xiàn)數(shù)據(jù)采集的斷點續(xù)傳,使用Kafka 作為實時數(shù)倉,使用 Paimon 實現(xiàn)數(shù)據(jù)的持久化和Flink 批處理,實現(xiàn)計算的流批一體,數(shù)據(jù)存儲的湖倉一體,采用StarRocks對接DataV完成實時業(yè)務(wù)大屏展示。

  • 亞秒級實時進階課進階班 1

    課時:60天 技術(shù)點:1000項 測驗:0次 學(xué)習(xí)方式:線上學(xué)習(xí)

    學(xué)習(xí)目標(biāo)

    1.線上3個月進階大數(shù)據(jù)實時開發(fā),多行業(yè)大數(shù)據(jù)項目助力企業(yè)數(shù)字人才精英| 2.皆在成就實時開發(fā)工程師,大數(shù)據(jù)架構(gòu)師等,幫助學(xué)員成為站在金字塔頂端的實時工程師

    主講內(nèi)容

    1. 大數(shù)據(jù)Java語言大數(shù)據(jù)生態(tài)多語言開發(fā),為進階實時數(shù)據(jù)開發(fā)奠定基礎(chǔ)

    01_編程基礎(chǔ)| 02_面向?qū)ο?span>| 03_常用類| 04_集合操作| 05_IO操作| 06_Java基礎(chǔ)增強| 07_JDBC| 08_Maven| 09_爬蟲案例

    2. 數(shù)據(jù)采集掌握實時計算中組件,數(shù)據(jù)開發(fā)工程師重要技能

    01_Flume| 02_DataX| 03_實時采集

    3. NoSQL&消息中心分布式存儲和消息隊列專項課,從原理到源碼,助力多場景存儲技術(shù)架構(gòu)選型,升值加薪必備技能。

    01_分布式緩存Redis| 02_消息隊列Kafka| 03_Hbase| 04_ELK技術(shù)棧| 05_消息隊列Pulsar

    4. 實時OLAP框架掌握實時OLAP框架,數(shù)據(jù)開發(fā)工程師重要技能。

    01_實時OLAP框架ClickHouse| 02_實時OLAP框架Doris

    5. 數(shù)據(jù)湖開發(fā)數(shù)據(jù)湖技術(shù)專題課程,完成湖倉一體架構(gòu)進階。

    01_Hudi 基礎(chǔ)入門篇| 02_Hudi 應(yīng)用進階篇| 03_Hudi 實戰(zhàn)案例篇

    6. Flink技術(shù)棧Apache Flink作為當(dāng)下流行的實時技術(shù),深度剖析底層原理,實現(xiàn)高級實時開發(fā)工程師進階。

    01_Flink基礎(chǔ)| 02_Flink DataStream的使用| 03_Kafka + Flink| 04_Flink SQL開發(fā)| 05_Hive + Flink SQL| 06_Flink CDC| 07_Flink CEP /Flink CEP SQL| 08_Watermark| 09_Checkpoint| 10_任務(wù)調(diào)度與負(fù)載均衡| 11_狀態(tài)管理| 12_Flink性能監(jiān)控

    7. FlinkSQL原理到精通全網(wǎng)流批一體架構(gòu)FlinkSQL,進階技術(shù)+業(yè)務(wù)專家。

    01_Flink SQL開發(fā)| 02_Hive + Flink SQL| 03_Flink性能監(jiān)控| 04_Flink調(diào)優(yōu)| 05_Flink SQL執(zhí)行計劃| 06_FlinkSQL案例實戰(zhàn)

    8. 星途車聯(lián)網(wǎng)實時項目掌握車聯(lián)網(wǎng)大數(shù)據(jù)實時業(yè)務(wù)場景開發(fā),助力物聯(lián)網(wǎng)行業(yè)高薪挑戰(zhàn)。

    01_Hive| 02_HBase| 03_HDFS數(shù)據(jù)存儲| 04_Kafka數(shù)據(jù)傳輸| 05_Flink全棧數(shù)據(jù)處理| 06_Nginx做反向代理| 07_LSV和Keepalived負(fù)載均衡和高可用

    9. 今日指數(shù)證券實時項目掌握金融業(yè)務(wù)數(shù)據(jù)實時場景實,助力金融行業(yè)高薪挑戰(zhàn)。

    01_Druid| 02_HBase| 03_HDFS數(shù)據(jù)存儲| 04_Kafka數(shù)據(jù)傳輸| 05_Flink全棧數(shù)據(jù)處理| 06_Kylin 多維OLAP分析| 07_Redis高速緩存

    10. 基于DataWorks全鏈路數(shù)據(jù)開發(fā)掌握智慧出行實時項目業(yè)務(wù)數(shù)據(jù)實時場景,覆蓋全網(wǎng)所有DataWorks平臺大數(shù)據(jù)。

    01_智慧出行實時項目業(yè)務(wù)數(shù)據(jù)實時場景異構(gòu)數(shù)據(jù)源采集| 02_基于DataWorks的大數(shù)據(jù)平臺設(shè)計| 03_出行行業(yè)可視化完整架構(gòu),涵蓋全生命周期項目

    11. 湖倉一體化解決方案掌握基于湖倉一體的在線視頻實時分析項目,助力大數(shù)據(jù)新技術(shù)企業(yè)應(yīng)用。

    01_湖倉一體完整解決方案| 02_基于Flink的在線視頻數(shù)據(jù)處理與分析| 03_基于Hidi的在線視頻數(shù)據(jù)數(shù)據(jù)湖構(gòu)建

    12. Flink源碼剖析全網(wǎng)Flink源碼課程大全,從原理到源碼,深挖技術(shù)底層,助力Flink性能調(diào)優(yōu),大數(shù)據(jù)架構(gòu)師必備技能。

    01_Apache Flink設(shè)計理念與基本架構(gòu)| 02_Flink DataStream的設(shè)計與實現(xiàn)源碼分析| 03_Flink 運行時的核心原理與實現(xiàn)| 04_Flink 任務(wù)提交與執(zhí)行| 05_狀態(tài)管理與容錯| 06_網(wǎng)絡(luò)通信| 07_內(nèi)存管理

    13. Flink二次開發(fā)掌握Flink二次開發(fā)流程,個性化解決企業(yè)大數(shù)據(jù)平臺技術(shù)選型,助力在職的你持續(xù)高薪,大數(shù)據(jù)架構(gòu)師必備技能。

    01_基于PyFlink的PR提交| 02_Flink的源碼二次開發(fā)流程| 03_Flink的源碼二次開發(fā)需求分析| 04_Flink的源碼二次開發(fā)實現(xiàn)過程| 05_PyFlink相關(guān)功能二次開發(fā)

  • Python+大數(shù)據(jù)開發(fā) V版本課程說明

    課程名稱:主要針對:主要使用開發(fā)工具:

    課程介紹

“周”更新日志
課程大版本更新

課程更新日志按周更新熱點/前沿技術(shù)

  • 新增2023-06-21

    · 量化機制的介紹· 圖優(yōu)化方法的使用

  • 新增2023-06-15

    · yoloV8的架構(gòu)解析· 雙流FPN結(jié)構(gòu)的設(shè)計

  • 新增2023-06-08

    · FlinkSQL表參數(shù)· FlinkSQL解析器

  • 新增2023-06-02

    · FlinkSQL的Split分桶· FlinkSQL執(zhí)行計劃翻譯器參數(shù)

  • 新增2023-05-26

    · FlinkSQL的上游CDC去重· FlinkSQL多階段聚合

  • 新增2023-05-18

    · FlinkSQL參數(shù)優(yōu)化· FlinkSQL異步IO容量· FlinkSQL并行度設(shè)置

  • 新增2023-05-18

    · FlinkSQL參數(shù)優(yōu)化· FlinkSQL異步IO容量· FlinkSQL并行度設(shè)置

  • 新增2023-05-12

    · FlinkSQL語法· FlinKSQL UDF

  • 新增2023-05-06

    · Barrier(柵欄)機制

    升級

    · PyFlink

  • 新增2023-04-27

    · Flink狀態(tài)后端· Flink重啟策略

  • 新增2023-04-19

    · 窗口計算中時間的流逝問題· 窗口的開始和結(jié)束范圍

  • 新增2023-04-12

    · Window TVF 方案· Group Window Aggregation方案

  • 新增2023-04-07

    · 動態(tài)表和連續(xù)查詢· Flink中的時間屬性

  • 新增2023-03-31

    · sql-client和Flink JobManager的連接· sql-client結(jié)果的顯示模式

  • 新增2023-03-23

    · TableEnvironment· sql-client 工具

    升級

    · Flink Table & SQL API

  • 新增2023-03-23

    · TableEnvironment· sql-client 工具

    升級

    · Flink Table & SQL API

  • 新增2023-03-14

    · Oracle的備份恢復(fù)· Oracle的OEM· Oracle的冷熱備份· Oracle的備份恢復(fù)

  • 新增2023-03-09

    · Oracle的權(quán)限管理· Oracle的審計

  • 新增2023-03-01

    · Oracle的進程結(jié)構(gòu)和內(nèi)存結(jié)構(gòu)· Oracle的監(jiān)聽器

  • 新增2023-02-22

    · Oracle數(shù)據(jù)庫管理· Oracle存儲結(jié)構(gòu)

  • 新增2023-02-16

    · Oracle的存儲函數(shù)· Oracle的存儲過程· Oracle的觸發(fā)器

  • 新增2023-02-08

    · Oracle的PLSQL編程· Oracle的游標(biāo)

  • 新增2023-02-03

    · Oracle索引· Oracle事務(wù)· Oracle常用工具

  • 新增2023-01-29

    · Oracle序列· Oracle同義詞

  • 新增2023-01-18

    · Oracle視圖· Oracle物化視圖

  • 新增2023-01-10

    · Oracle數(shù)據(jù)定義語言· Oracle常見對象

  • 新增2023-01-04

    · Oracle基礎(chǔ)· Oracle的查詢語法及綜合案例

  • 新增2022-12-27

    · Hive的explain執(zhí)行計劃詳解· Hive數(shù)據(jù)壓縮、存儲格式、自動化腳本、常見性能優(yōu)化內(nèi)容優(yōu)化

  • 新增2022-12-21

    · PSM價格敏感度模型開發(fā)· Presto對接多數(shù)據(jù)源實現(xiàn)指標(biāo)統(tǒng)計分析

  • 新增2022-12-13

    · RFM用戶價值度模型開發(fā)· RFE用戶或月底模型開發(fā)

  • 新增2022-12-07

    · 用戶畫像解決方案項目BI可視化實時統(tǒng)計結(jié)果數(shù)據(jù)· 用戶畫像解決方案項目BI可視化流程

  • 新增2022-12-01

    · 用戶行為埋點日志etl· 用戶行為埋點日志聚合統(tǒng)計· 用戶行為埋點日志統(tǒng)計結(jié)果入庫

  • 新增2022-11-24

    · 用戶行為埋點日志產(chǎn)生流程與漏斗模型

  • 新增2022-11-17

    · nginx日志ip定位,uv、pv、ua、access_time解析· nginx日志入庫mysql· 實時分析任務(wù)基類開發(fā)

  • 新增2022-11-08

    · nginx日志介紹與產(chǎn)生的流程· nginx日志解析etl· nginx日志聚合統(tǒng)計

  • 新增2022-11-03

    · 操作采集nginx日志到kafka中· 結(jié)構(gòu)化流實現(xiàn)消費nginx日志數(shù)據(jù)案例

  • 新增2022-10-26

    · flume實現(xiàn)采集數(shù)據(jù)到hdfs· flume實現(xiàn)數(shù)據(jù)采集到kafka· 實時基礎(chǔ)與kafka要點回顧

  • 新增2022-10-20

    · flume與實時數(shù)據(jù)采集流程· flume概述與核心要素· 標(biāo)簽類型與總結(jié)

  • 新增2022-10-13

    · 購買周期標(biāo)簽思路與實現(xiàn)· 支付方式標(biāo)簽思路與實現(xiàn)· 標(biāo)簽類型與總結(jié)

  • 新增2022-10-07

    · 匹配標(biāo)簽開發(fā)· 統(tǒng)計類標(biāo)簽開發(fā)

  • 新增2022-09-26

    · 基于標(biāo)簽開發(fā)基類重寫統(tǒng)計類標(biāo)簽和規(guī)則類標(biāo)簽

  • 新增2022-09-20

    · spark實現(xiàn)統(tǒng)計類標(biāo)簽開發(fā)· spark實現(xiàn)規(guī)則類標(biāo)簽開發(fā)

  • 新增2022-09-14

    · spark與mysql整合· spark與es整合

  • 新增2022-09-06

    · 用戶畫像數(shù)據(jù)檢驗的三種方式· 從hive導(dǎo)入數(shù)據(jù)到es實現(xiàn)· es元數(shù)據(jù)對象解析

  • 新增2022-08-23

    · es集成hadoop生態(tài)圈· es-hive支持· es-hive案例與參數(shù)

  • 新增2022-08-23

    · es核心原理與關(guān)鍵概念· es的resultful api· python代碼操作es

  • 新增2022-08-17

    · es基礎(chǔ)· 使用es的原因· es的架構(gòu)

  • 新增2022-08-09

    · 用戶畫像核心業(yè)務(wù)流程· sparksql分析引擎· 數(shù)倉六層模型

  • 新增2022-08-01

    · 自動導(dǎo)入oracle數(shù)據(jù)· 自動創(chuàng)建文件目錄· 記錄自動化過程日志

  • 新增2022-07-25

    · 自動創(chuàng)建hive表· 自動創(chuàng)建hive分區(qū)· 自動關(guān)聯(lián)hdfs數(shù)據(jù)

  • 新增2022-07-18

    · 數(shù)倉建模方法論· 日期維度程序生成· 維度模型選型

  • 新增2022-07-11

    · docker虛擬網(wǎng)橋與網(wǎng)卡· 宿主機與docker容器 · 創(chuàng)建大數(shù)據(jù)組件容器

  • 新增2022-07-04

    · 行程地理區(qū)域維度· 組織機構(gòu)維度· 服務(wù)網(wǎng)點維度

  • 新增2022-06-28

    · 加油站維度· 服務(wù)屬性維度· 物流公司維度 · 故障維度

  • 新增2022-06-21

    · 數(shù)倉整體設(shè)計圖· 技術(shù)選型設(shè)計圖· 項目原始數(shù)據(jù)庫結(jié)構(gòu)圖

  • 新增2022-06-14

    · ODS建模后,使用SQOOP導(dǎo)入數(shù)據(jù)· DWD根據(jù)業(yè)務(wù)使用全量表、增量表、拉鏈表等不同的方式實現(xiàn)· DWB層的訂單明細(xì)表關(guān)聯(lián)了訂單表、訂單副表、訂單組表、店鋪表、地區(qū)表、訂單商品快照表等· 商品明細(xì)表關(guān)聯(lián)了商品表、商品分類表(三層分類)、商品品牌表等

  • 升級2022-06-07

    · 使用新版數(shù)據(jù)庫,包含完整的訂單、商品、用戶、配送及支付、退款等數(shù)據(jù)· 實戰(zhàn)提取訂單相關(guān)的指標(biāo)和維度  · Flink多語言開發(fā)· Flink監(jiān)控調(diào)優(yōu)

  • 新增2022-05-31

    · Flink背壓機制· Flink內(nèi)存管理· Python語言操作Flink

  • 新增2022-05-24

    · FlinkSink新特性· FlinkSQL整合Hive· 分層規(guī)范,通過對數(shù)據(jù)業(yè)務(wù)的分析,將數(shù)倉分為ODS, DWD, DWB, DM, APP五層

  • 新增2022-05-17

    · FlinkSQL&Table理論部分比重,移除過期API,使用新版API · FlinkSQL整合Kafka案例· 雙流Join知識點和案例分層規(guī)范,通過對數(shù)據(jù)業(yè)務(wù)的分析,將數(shù)倉分為ODS, DWD, DWB, DM, APP五層

  • 新增2022-05-10

    · Flink版本為1.14· 弱化DataSetAPI講解,加強DataStreamAPI-流批一體新特性的講解· 移除過期API,增加DataStream、Window、Watermaker新版API使用講解

  • 新增2022-05-03

    · 實時業(yè)務(wù)-實時統(tǒng)計Top10熱點題· 實時業(yè)務(wù)-實時統(tǒng)計答題最活躍的Top10年級· 實時業(yè)務(wù)-實時統(tǒng)計Top10熱點題及所屬科目

  • 新增2022-04-26

    · 數(shù)據(jù)模擬程序?qū)懭氲終afka· 實時分析學(xué)生答題情況· StructuredStreaming實時分析入口程序· python完成電商行業(yè)ETL實戰(zhàn)· ETL基礎(chǔ)概念· ETL完成的Pipeline構(gòu)建流程

  • 新增2022-04-19

    · 結(jié)構(gòu)化流更新,刪除Rate數(shù)據(jù)源-文件數(shù)據(jù)源· 刪除企業(yè)不常用SparkStreaming

  • 新增2022-04-12

    · Spark中Continuous Processing· Spark3.2新特性· Spark性能調(diào)優(yōu)九項原則、數(shù)據(jù)傾斜、shuffle優(yōu)化· 新增Spark教育行業(yè)案例,方便學(xué)員掌握RDD和DataFrame的使用

  • 新增2022-04-05

    · StructuredStreaming 處理延遲數(shù)據(jù)和水印· StructuredStreaming 結(jié)構(gòu)化流數(shù)據(jù)和靜態(tài)數(shù)據(jù)Join· StructuredStreaming 結(jié)構(gòu)化流數(shù)據(jù)和結(jié)構(gòu)化路數(shù)據(jù)Join

  • 新增2022-03-29

    · 離線業(yè)務(wù)分析-各科目熱點題分析· 離線業(yè)務(wù)分析-各科目推薦題分析

  • 新增2022-03-22

    · StructuredStreaming 物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)分析案例· StructuredStreaming 基于事件時間的窗口

  • 新增2022-03-15

    · SparkSQL底層執(zhí)行原理· StructedStream結(jié)構(gòu)化流內(nèi)容· Pandas的教育案例數(shù)倉實戰(zhàn)

  • 升級2022-03-08

    · 升級Spark版本到3.2· 升級Spark的主流開發(fā)語言為Python· 優(yōu)化Spark的Standalone方式安裝,使用local和yarn模式· Spark3.2整合Hive3.1.2版本兼容問題

  • 新增2022-03-01

    · MySQL的教育案例數(shù)倉實戰(zhàn)· Pandas基礎(chǔ)使用,作為理解Spark數(shù)據(jù)類型的基礎(chǔ)· Pandas的Series數(shù)據(jù)結(jié)構(gòu)· 增加在線教育案例

  • 新增2022-02-25

    · Python版本Hbase的API調(diào)用· Python的教育案例數(shù)倉實戰(zhàn)· StructuredStreaming Sink內(nèi)容· StructuredStreaming 整合Kafka

  • 新增2022-02-18

    · Flume采集MoMo數(shù)據(jù)集場景· 實時和離線方式處理數(shù)據(jù)場景· Python版本Kafka的調(diào)用· NoSQL階段多場景項目實戰(zhàn)

  • 新增2022-02-11

    ·Flume1.9數(shù)據(jù)采集方式· Hbase2.x新特性

    升級

    · Hbase的BulkLoader全量數(shù)據(jù)加載方式

  • 新增2022-02-04

    ·Python版本MapReduce寫法

  • 新增2022-01-28

    · python腳本實現(xiàn)增量從oracle導(dǎo)入數(shù)據(jù)到hdfs中 · python腳本實現(xiàn)全量從oracle導(dǎo)入數(shù)據(jù)到hdfs中 · python腳本實現(xiàn)上傳avro文件到hdfs上

  • 新增2022-01-21

    · python腳本實現(xiàn)壓縮表的avro文件為tar.gz文件 · python腳本實現(xiàn)avro壓縮文件上傳hdfs · python實現(xiàn)讀取oracle表原始數(shù)據(jù) · python實現(xiàn)創(chuàng)建hive表

  • 新增2022-01-14

    · python實現(xiàn)自定義記錄日志 · python實現(xiàn)讀取一行行文本文件工具類 · python讀取表信息轉(zhuǎn)對象方法 · python實現(xiàn)sparksql創(chuàng)建數(shù)據(jù)庫和表 · python實現(xiàn)sparksql創(chuàng)建分區(qū)關(guān)聯(lián)表對應(yīng)的hdfs數(shù)據(jù)方法

  • 新增2022-01-07

    · python實現(xiàn)sparksql查詢ods層明細(xì)數(shù)據(jù)并加載到dwd層方法 · python實現(xiàn)sparksql查詢ods層明細(xì)數(shù)據(jù)并加載到dwd層方法 · 造數(shù)據(jù)平臺 · 新特殊字段類型

  • 新增2021-12-24

    · 字段類型 · flink源碼前置基礎(chǔ) · 源碼的編譯和部署 · flink啟動腳本的解讀 · yarn-per-job模式解析

  • 新增2021-12-17

    · flink任務(wù)調(diào)度機制 · flink內(nèi)存模型 · HIve3新特性 · Hive3數(shù)據(jù)壓縮,存儲格式等內(nèi)容 · Hadoop3新特性

  • 新增2021-12-10

    · 概念和通用api介紹 · sqlclient工具的使用 · catalogs知識點的學(xué)習(xí) · 流處理中的概念介紹

  • 新增2021-12-03

    · flinksql中的窗口使用 · FlinkSQL函數(shù)操作 · Flinksql連接到外部系統(tǒng) · flinksql的原理和調(diào)優(yōu) · sql操作參考

  • 新增2021-11-26

    · flink on yarn的第三種部署方式(Application Mode) · 自定義source · transformation算子minby和maxby · transformation的八大物理分區(qū)的原理和實現(xiàn) · flink的global window的操作

  • 新增2021-11-19

    · flink內(nèi)置水印函數(shù)的操作 · flink的window的ReduceFunction · flink的state的數(shù)據(jù)結(jié)構(gòu)的api升級 · flink的window的ProcessWindowFunction · flink的window的具有增量聚合的ProcessWindowFunction

  • 新增2021-11-12

    · flink的window的在 ProcessWindowFunction 中使用每個窗口狀態(tài) · flink的state的ttl機制 · flink的state的數(shù)據(jù)結(jié)構(gòu)的api升級 · flink的Queryable State知識點 · 異步io的vertx框架實現(xiàn)

  • 新增2021-11-05

    · flink的join操作 · Streaming File Sink連接器的小文件操作 · 數(shù)據(jù)類型及序列化的原理和實現(xiàn)案例 · 熱門銷售排行TopN的使用案例 · 布隆過濾器結(jié)合TTL的使用案例

  • 新增2021-10-29

    · PySpark的安裝 · PySpark任務(wù)提交方式 · PySpark多種模式spark-submit · PySpark實現(xiàn)wordcount案例實戰(zhàn)

  • 新增2021-10-22

    · Anaconda安裝使用 · Python實現(xiàn)RDD的基礎(chǔ)的Transformation操作 · Python實現(xiàn)RDD的Action操作 · Python實現(xiàn)Sougou分詞案例 · Python實現(xiàn)IP熱度分析案例

  • 新增2021-10-15

    · Python實現(xiàn)PV-UV-TOPK案例 · Python實現(xiàn)累加器及案例優(yōu)化 · Python實現(xiàn)廣播變量案例及優(yōu) · Python實現(xiàn)緩存案例及優(yōu)化實現(xiàn) · PySparkSQL實現(xiàn)基礎(chǔ)統(tǒng)計操作

  • 新增2021-10-08

    · PySpark實現(xiàn)DataFrame的基礎(chǔ)操作 · PySpark實現(xiàn)DataFrame的wordcount操作 · PySpark實現(xiàn)DataFrame和RDD的轉(zhuǎn)換操作 · PySpark實現(xiàn)電影評分?jǐn)?shù)據(jù)集分析

  • 新增2021-09-24

    · PySpark的底層Dataframe如何轉(zhuǎn)化為RDD的原理操作 · PySparkSQL的優(yōu)化方式 · PySparkSQL分布式引擎實現(xiàn) · PySparkSQL與HIve整合 · PySpark離線教育案例

  • 新增2021-09-17

    · PySpark新零售分析案例 · ETL、ELT區(qū)別 · Hive CTE表達式、更新union聯(lián)合查詢 · 大數(shù)據(jù)5V特點 · 大數(shù)據(jù)多個應(yīng)用場景

  • 更新2021-09-10

    · pandas及可視化課程迭代至v2.01 · 數(shù)據(jù)分析多場景項目迭代至v1.81 · 最新版Python基礎(chǔ)編程v2.01 · 最新版Python編程進階更新迭代至v2.01 · 制定v2.0版本課程大綱

  • 升級2021-09-03

    · 完善flink的運行架構(gòu)內(nèi)容 · 完善flink與kafka連接器的操作 · 完善flink的window操作的講義 · 完善ODS層,新增和更新抽取方式,畫圖錯誤

  • 更新2021-08-27

    · Flink版本為1.13最新版 · Flink table&sql的整體概述 · 項目開發(fā)語言為spark官方使用最多的python語言

  • 更新2021-08-20

    · Spark語言為官方使用最多的Python語言 · Spark版本為3.1.2發(fā)行版,Hive3.1.2版本

  • 升級2021-08-13

    · 升級HDFS讀寫流程原理圖 · 升級Hadoop為最新3.3.0版本 · 升級編排Linux2天講義 · 升級Mysql RPM安裝方式以支持hive3

  • 優(yōu)化2021-08-06

    · 優(yōu)化Hive知識點案例 同步為Hive3版本 · 優(yōu)化Linux基礎(chǔ)命令,刪除了不常用命令 · 優(yōu)化使用Python實現(xiàn)MR原理機制

  • 優(yōu)化2021-08-03

    · 優(yōu)化OLAP、OLTP區(qū)別 · 優(yōu)化Hadoop版本安裝及注意事項 · 優(yōu)化數(shù)據(jù)分析基本步驟(6部曲) · 優(yōu)化Hive版本為最新的3.1.2版本

  • 優(yōu)化2021-07-27

    · 優(yōu)化HIve3.x架構(gòu) · 優(yōu)化PySpark執(zhí)行流程,引入Py4J技術(shù) · 優(yōu)化車聯(lián)網(wǎng)Web展示部分 · 優(yōu)化車聯(lián)網(wǎng)離線Hive數(shù)倉構(gòu)建部分

  • 新增2021-07-20

    · 新增數(shù)倉整體設(shè)計圖 · 新增技術(shù)選型設(shè)計圖 · 新增項目原始數(shù)據(jù)庫結(jié)構(gòu)圖

  • 新增2021-07-13

    · 新增油站維度 · 新增服務(wù)屬性維度 · 新增物流公司維度 · 新增故障維度

  • 新增2021-07-06

    · 新增行程地理區(qū)域維度 · 新增組織機構(gòu)維度 · 新增服務(wù)網(wǎng)點維度 · 新增數(shù)倉建模方法論 · 新增日期維度程序生成

  • 新增2021-06-29

    · 新增維度模型選型 · 新增自動創(chuàng)建hive表 · 新增自動創(chuàng)建hive分區(qū) · 新增自動關(guān)聯(lián)hdfs數(shù)據(jù) · 新增自動導(dǎo)入oracle數(shù)據(jù)

  • 新增2021-06-22

    · 新增自動創(chuàng)建文件目錄 · 新增記錄自動化過程日志 · 新增java和數(shù)據(jù)結(jié)構(gòu)大數(shù)據(jù)題目4個  · 新增算法題目4個 · 新增Hadoop題目6個

  • 新增2021-06-15

    · 新增hive題目3個 · 新增spark題目7個 · 新增flink題目4個 · 新增其他大數(shù)據(jù)組件題目4個 · 新增美團大數(shù)據(jù)架構(gòu)

  • 新增2021-06-08

    · 新增平安大數(shù)據(jù)架構(gòu)解決方案 · 新增小米大數(shù)據(jù)架構(gòu)解決方案 · 新增百度廣告業(yè)務(wù)場景大數(shù)據(jù)架構(gòu)解決方案

  • 新增2021-06-01

    · 新增Flume1.9數(shù)據(jù)采集方式 · 新增Flume采集MoMo數(shù)據(jù)集場景 · 新增實時和離線方式處理數(shù)據(jù)場景 · 新增SparkWebUI功能解釋

  • 新增2021-05-25

    · 新增SparkSQL比重 · 新增StructedStream雙流Join知識點 · 新增Spark多語言開發(fā)-JavaSpark和PySpark

  • 新增2021-05-18

    · 新增SparkMlLib-ALS推薦算法案例和原理 · 新增SparkMlLib-線性回歸算法案例和原理 · 新增SparkMlLib-決策樹算法案例和原理

  • 新增2021-05-11

    · 新增Spark3.0新特性 · 新增Spark性能調(diào)優(yōu)九項原則、N多配置參數(shù)、數(shù)據(jù)傾斜、shuffle優(yōu)化 · 新增IP查詢案例

  • 新增2021-05-04

    · 新增教師案例Spark案例 · 新增DataStream、Window、Watermaker新版API使用講解 · 新增FlinkSQL&Table理論部分比重,使用新版API· 新增FlinkSQL整合Kafka案例· 新增雙流Join知識點和案例

  • 新增2021-04-26

    · 新增Execl數(shù)據(jù)分析,整合Execl圖標(biāo)、透視表等使用 · 新增Execl分析項目 · 新增Tableau的BI分析工具及項目實· Tableau電商項目

  • 新增2021-04-19

    · BI工具使用 · 數(shù)據(jù)分析報告 · 數(shù)據(jù)儀表板展示· Tableau電商項目

  • 新增2021-04-12

    · Excel數(shù)據(jù)處理和計算 · Excel透視表 · Excel圖表· Excel基本使用

  • 新增2021-04-05

    · 數(shù)據(jù)埋形式 · 數(shù)據(jù)埋點方案 · 數(shù)據(jù)需求文檔· 后端埋點

  • 升級2021-03-29

    · 定時爬蟲 · 下單并發(fā)處理 · 中文分詞· 用戶畫像

  • 新增2021-03-22

    · 阿里搜索解決方案 · 快遞解決方案 · Django即時通訊· mysql集群管理

  • 新增2021-03-15

    · 騰訊聊天機器人 · 騰訊文字識別 · python操作mycat · 小程序開發(fā)

  • 新增2021-03-08

    · django_extensions使用 · axios網(wǎng)易案例 · 阿里云方案 · django-channels使用

  • 新增2021-03-01

    · pytest自定義插件使用 · pytest異步調(diào)用 · pytest定時執(zhí)行 · pytest標(biāo)記使用

  • 升級2021-02-22

    · Cookie和Session使用 · Django類裝飾器 · Django多對多查詢 · Django關(guān)聯(lián)查詢

  • 升級2021-02-15

    · 推薦算法 · 數(shù)據(jù)可視化 · sql數(shù)據(jù)查詢 · H5語法

  • 升級2021-02-08

    · 美多狀態(tài)保持 · Django框架請求對象獲取數(shù)據(jù) · Django模版 · Django拓展類

  • 新增2021-02-01

    · asyncio編程 · RabbitMQ的Confirm機制 · RocketMQ使用 · Celery定時任務(wù)

  • 新增2021-01-25

    · Angular管道 · Angular路由 · Angular使用HTTP · Angular表單

  • 新增2021-01-18

    · Ant Design · TypeScript類型斷言 · TypeScript內(nèi)置對象 · TypeScript代碼檢查

  • 升級2021-01-11

    · Django認(rèn)證 · Django權(quán)限控制 · 美多商城發(fā)送短信 · 美多商場QQ登錄

  • 升級2021-01-04

    · SQL查詢 · 數(shù)據(jù)倉庫 · 業(yè)務(wù)報表· Pandas

  • 新增2020-12-28

    · 機器學(xué)習(xí)排序算法 · 購物籃分析 · RFM模型· K均值聚類算法

  • 新增2020-12-21

    · 物品畫像 · 用戶畫像 · 召回算法· 漏斗分析

  • 升級2020-12-14

    · 狀態(tài)保持 · 權(quán)限管理 · 頁面靜態(tài)化· xpath工具

  • 升級2020-12-07

    · 極驗驗證 · jieba分詞 · shell代碼發(fā)布· 對象存儲

  • 新增2020-11-30

    · ES集群搭建 · IK中文分詞 · ES聚合查詢· ES凍結(jié)解凍索引

  • 新增2020-11-23

    · Kafka Broker集群 · Topic模型 · kafka數(shù)據(jù)備份· kafka消息持久化

  • 升級2020-11-16

    · pandas的apply方法 · pandas的transform方法 · pandas的to_numeric函數(shù)· Pandas內(nèi)置聚合方法

  • 升級2020-11-09

    · elk日志監(jiān)控 · shell代碼發(fā)布 · ubuntu版本20.04· 移動端測試

  • 優(yōu)化2020-11-02

    · mysql讀寫分離 · reids哨兵 · redis安全限制· Keepalived非搶占模式

  • 新增2020-10-26

    · VIP腦裂 · MyCAT使用 · WA配置使用· redis持久化

  • 新增2020-10-19

    · HA Cluster高可用集群 · Keepalived使用 · VRRP協(xié)議· nginx服務(wù)切換

  • 升級2020-10-12

    · fastDFS使用 · shell使用 · docker使用· nginx使用

  • 升級2020-10-05

    · cookie和session案例 · mysql主從 · mysql集群· redis主從

  • 升級2020-09-28

    · Django用戶權(quán)鑒 · Django表單 · Django-froms· Django站點管理

  • 新增2020-09-07

    · Ansible使用 · AWX使用 · ceph使用· zabbix使用

  • 升級2020-08-31

    · 登錄判斷中間件 · cache緩存使用 · 購物車數(shù)據(jù)存儲· git沖突解決

  • 新增2020-08-24

    · pyautogui使用 · uiautomator使用 · PO模式· mock測試

  • 新增2020-08-17

    · Django轉(zhuǎn)換器 · Django用戶認(rèn)證拓展類 · Django權(quán)限認(rèn)證拓展類· Haystack搜索類

  • 升級2020-08-10

    · python操作reids · redis高可用 · redis集群搭建· redis持久化

  • 升級2020-08-03

    · mysql事務(wù)使用 · mysql主從搭建 · mysql客戶端使用 · mysql外鍵操作

  • 新增2020-07-27

    · mongodb聚合 · mongodb索引 · mongodb權(quán)限· 常見反爬手段

  • 新增2020-07-20

    · 緩存擊穿 · 緩存雪崩 · 雪花算法

  • 升級2020-07-13

    · Locust 性能測試 shell編程 · msyql數(shù)據(jù)庫 · redis緩存 ·

  • 升級2020-07-06

    · redis集群 · gitfollow工作流 · 定時爬蟲 · elk

  • 升級2020-06-29

    · 響應(yīng)對象的處理 · 細(xì)化Cookie及Session的處理 · 鏈接失效的爬蟲案例 · 美后臺權(quán)限控制

  • 新增2020-06-22

    · 高性能爬蟲 · 多線程爬蟲案例 · Flask-Migrate 數(shù)據(jù)模型設(shè)計 · 智慧大屏案例

  • 升級2020-06-15

    · UnitTest斷言: 比較斷言,復(fù)雜斷言 · 路由系統(tǒng)全線升級 · 數(shù)據(jù)圖片化反爬 · redis緩存

  • 新增2020-06-08

    · Jmter 圖形監(jiān)視器擴展插件 · 警告斷言 · 異常斷言 · Jmter性能調(diào)試

  • 新增2020-06-01

    · 性能測試報告分析 · 新增分庫訪問 · 優(yōu)化Fixtures的參數(shù)化 · protometheus使用

  • 新增2020-05-25

    · flask-sqlalchemy二次開發(fā) · 數(shù)據(jù)解析-BeautifulSoup4 · Jmeter分布式并發(fā)測試的配置 · zabbix使用

  • 新增2020-05-18

    · Jmeter實現(xiàn)參數(shù)化 · 數(shù)據(jù)庫測試 · 實現(xiàn)跨線程組傳值 · lua基礎(chǔ)

  • 新增2020-05-11

    · 自定義讀寫分離 · 認(rèn)證體系 · 訪問劫持 · 安全策略

  • 新增2020-05-04

    · Redis悲觀鎖 · 布隆過濾器 · 文件安全 · WAF實踐

  • 升級2020-04-27

    · 搜索接口結(jié)構(gòu) · elsticsearch使用 · celerybug處理 · rabbitMQ使用

  • 升級2020-04-20

    · Locust關(guān)聯(lián) · Locust斷言 · Locust各種業(yè)務(wù)場景下的參數(shù)化 · pipeline使用

  • 升級2020-04-13

    · 更改Scrapy以及Scrapy-redis項目 · Selenium知識點演示案例 · redis哨兵機制 · mysql主從搭建

  • 升級2020-04-06

    · 時間戳/頁碼/偏移量分頁 · gitflow工作流 · sentry使用 · xss安全

  • 新增2020-03-30

    · Pytest.mark · flask緩存工具類 · 多級緩存 · mysql注入攻擊

  • 新增2020-03-23

    · 禪道的不同角色使用 · Mysql垂直拆分 · Flask-SQLAlchemy的讀寫分離 · Mysql水平拆分

  • 升級2020-03-16

    · 性能測試分類 · 性能監(jiān)控指標(biāo) · 性能測試流程 · celery使用

  • 新增2020-03-09

    · 定時抓取數(shù)據(jù)爬蟲 · Appium對APP數(shù)據(jù)的抓取 · 常見性能測試工具優(yōu)化 · Filebeat詳解

  • 升級2020-03-02

    · 禪道的部署方式 · django框架升級為2.25版本 · 美多詳情頁靜態(tài)化 · 商品spu表結(jié)構(gòu)

  • 新增2020-01-16

    · 美多商城緩存 · elk日志監(jiān)控 · docker部署美多商城 · shell代碼發(fā)布

  • 升級2020-01-09

    · 等價類劃分法演示案例 · 邊界值法的演示案例 · 容聯(lián)云發(fā)送短信 · fastDFS圖片上傳

  • 新增2020-01-02

    · 測試用例的設(shè)計方法 · 獲取用戶信息模塊的單元測試 · 登錄注冊模塊的單元測試 · jenkins使用

  • 升級2019-12-26

    · Django自帶單元測試模塊 · Mysql數(shù)據(jù)庫教法調(diào)整 · 黑馬頭條緩存使用 · dockerfile使用

  • 新增2019-12-19

    · Locust 性能測試 · HttpLocust和Locust · TaskSet TaskSequence · seq_task

  • 升級2019-11-28

    · 異常案例的講解 · 代碼健壯性提升方式 · 登錄狀態(tài)判斷 · 異常處理

  • 升級2019-11-21

    · 商品模塊代碼進行了調(diào)整 · Redis事務(wù)型管道 · 反爬案例 · 搜索方法優(yōu)化

  • 新增2019-11-14

    · 新增字體反爬 · Charles/fiddler抓包工具講解 · Redis非事務(wù)型管道 · 新增shell編程

  • 升級2019-11-07

    · PO模型 · Requests模塊的使用 · Get/Post等Http請求 · 試用例的設(shè)計方法

  • 新增2019-10-31

    · Flask項目搭建Flask-CORS · Fixtures實現(xiàn)SetUp和TearDown · 美多商城登錄功能自動化測試 · Redis緩存數(shù)據(jù)集合

  • 升級2019-10-24

    · 黑馬頭條前端代碼 · 分布式事務(wù) · 美多商城前臺改為前后端分離模式 · admin后端管理站點講解

  • 新增2019-10-17

    · 美多商城支付模塊單元測試 · Jmeter 性能測試報告 · TestCase Client FactoryRequest Mock · 美多商城下單模塊性能測試

  • 新增2019-10-10

    · 黑馬頭條業(yè)務(wù)邏輯: 用戶認(rèn)證 、修改頭像 · 黑馬頭條業(yè)務(wù)邏輯: 頻道管理 · 黑馬頭條業(yè)務(wù)邏輯: 文章列表/詳情 · 黑馬頭條業(yè)務(wù)邏輯: 關(guān)注用戶 評論回復(fù)


點擊加載更多>>
2023.08.21 升級版本4.0

課程名稱

Python+大數(shù)據(jù)開發(fā)課程

課程推出時間

2023.08.21

課程版本號

4.0

技術(shù)課程

Hadoop3.3,Spark3.4,阿里云Flink(FlinkCDC、FlinkCEP、FlinkSQL),StarRocks,Paimon,ElasticSearch

課程介紹

● Python大數(shù)據(jù)V4.0課程全新升級,緊貼各類企業(yè)招聘需求,升級阿里云平臺全套大數(shù)據(jù)技術(shù)棧,全程采用六項目制驅(qū)動技術(shù)學(xué)習(xí),助力國家數(shù)字化轉(zhuǎn)型對數(shù)字人才的大量需求。

● 多位Apache社區(qū)貢獻者聯(lián)袂授課,從原理、實戰(zhàn)到源碼,帶你邁入高級開發(fā)工程師行列。

● 課程覆蓋企業(yè)級大數(shù)據(jù)六大主流解決方案,包括離線數(shù)倉解決方案、流批一體解決方案和湖倉一體解決方案、用戶畫像解決方案、推薦系統(tǒng)解決方案、數(shù)據(jù)治理解決方案,再現(xiàn)公司中真實的開發(fā)場景,目標(biāo)不止于就業(yè),而是成為各類企業(yè)爭搶的大數(shù)據(jù)開發(fā)工程師。

● 課程升級主流大數(shù)據(jù)技術(shù)棧,全新Hadoop3.3,Spark3.4,阿里云實時計算Flink技術(shù)剖析和新特性使用,推出黑馬甄選業(yè)務(wù)的全套解決方案課程,不僅可以學(xué)習(xí)到企業(yè)真實完整的業(yè)務(wù)場景,將六大技術(shù)解決方案應(yīng)用到黑馬甄選泛電商業(yè)務(wù)中,能勝任企業(yè)級離線數(shù)倉、實時數(shù)倉、用戶畫像、推薦系統(tǒng)、數(shù)據(jù)治理等核心大數(shù)據(jù)開發(fā)工作。

● 項目課程實施“講A練B”與"看圖說話"新模式, 以思路分析為導(dǎo)向提高學(xué)員獨立開發(fā)能力,并推動學(xué)員在邏輯思維與語言表達能力方向的持續(xù)提升,為學(xué)員在面試中以及在企業(yè)獨立開發(fā)中打下堅實的基礎(chǔ)

1

新增數(shù)據(jù)治理解決方案,結(jié)合包括元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)、指標(biāo)系統(tǒng)、數(shù)據(jù)建模等在內(nèi)的數(shù)據(jù)治理能力,聚焦企業(yè)數(shù)字化轉(zhuǎn)型,深挖數(shù)據(jù)價值,提升企業(yè)數(shù)據(jù)生產(chǎn)力。滿足就業(yè)市場中中高級數(shù)據(jù)工程師需求,提升學(xué)生就業(yè)競爭力。

1

新增通過AIGC助力編程效率提升,完成數(shù)據(jù)開發(fā)和數(shù)據(jù)分析任務(wù)。

1

新增Paimon、StarRocks新技術(shù),將技術(shù)應(yīng)用到實時項目中,更加全面提升通過技術(shù)解決業(yè)務(wù)問題能力。

1

新增新版面試加強課,內(nèi)容集成了大廠架構(gòu)解析、SQL專項面試寶典,以及不斷滾動更新的全網(wǎng)大數(shù)據(jù)崗位面試題講解,助力學(xué)員高起點就業(yè)。

1

更新由Apache Flink1.17課程升級為阿里云實時計算Flink版,通過阿里云全套大數(shù)據(jù)組件學(xué)習(xí),貼近中小型企業(yè)大數(shù)據(jù)開發(fā)真實環(huán)境,提升學(xué)生就業(yè)競爭力。

1

新增黑馬甄選實時計算項目由阿里云實時計算Flink全棧開發(fā),從FlinkCDC數(shù)據(jù)采集,Kafka實時數(shù)倉分層,Paimon數(shù)據(jù)湖構(gòu)建湖倉一體架構(gòu),將數(shù)據(jù)接入Starrocks進行OLAP分析和查詢,最后通過DataV完成企業(yè)級業(yè)務(wù)大屏展示。

1

新增大數(shù)據(jù)BI報表開發(fā)項目實戰(zhàn)階段,通過Python+SQL+FineReport完成電商業(yè)務(wù)統(tǒng)計分析和大屏展示。

1

友情提示更多學(xué)習(xí)視頻+資料+源碼,請加QQ:2632311208。

2023.01.01 升級版本3.2

課程名稱

Python+大數(shù)據(jù)開發(fā)課程

課程推出時間

2023.01.01

課程版本號

3.2

主要使用開發(fā)工具

PyCharm,IDEA,DataGrip,F(xiàn)inalShell

課程介紹

● 優(yōu)勢1:課程升級深度調(diào)研市場需求,針對行業(yè)解決方案:離線數(shù)倉解決方案、用戶畫像解決方案、湖倉一體解決方案,打造多行業(yè)多場景大數(shù)據(jù)開發(fā)工程師。

● 優(yōu)勢2:6項目制,2大項目實戰(zhàn),新增PB級內(nèi)存計算項目實戰(zhàn),應(yīng)對企業(yè)級大數(shù)據(jù)開發(fā)工程師需求。

● 優(yōu)勢3:研究院精心研發(fā)基于實時技術(shù)棧全新架構(gòu)的出行行業(yè)和電商行業(yè)大數(shù)據(jù)項目,讓學(xué)生具備更強項目經(jīng)驗要求。

● 優(yōu)勢4:最短路徑教會企業(yè)最實用的技術(shù),案例練習(xí)促進吸收;每日作業(yè)夯實學(xué)習(xí)成果;階段項目實戰(zhàn),學(xué)以致用。

1

新增基于Flink的悠游出行大數(shù)據(jù)平臺

1

新增基于Flink的優(yōu)購電商優(yōu)選項目

1

新增用戶畫像解決方案項目,包含了新零售、電商、金融保險等多行業(yè)畫像解決方案

1

升級Spark內(nèi)存計算階段項目實戰(zhàn)

1

新增大數(shù)據(jù)Java語言基礎(chǔ),為Flink技術(shù)棧提供語言支持

1

新增SQL大廠面試題,貫穿課堂每日一練,提升SQL技術(shù)能力

1

新增Hudi數(shù)據(jù)湖,Hudi on Hive構(gòu)建湖倉一體架構(gòu)

1

新增Python版NoSQL課程,達到企業(yè)級萬億級數(shù)據(jù)存儲目標(biāo)

1

新增Doris、ClickHouse多維數(shù)據(jù)分析

1

優(yōu)化億品新零售項目中數(shù)倉建模理論基礎(chǔ),強化數(shù)倉建模工具使用

1

優(yōu)化車聯(lián)網(wǎng)項目全新架構(gòu)升級

1

優(yōu)化Flink技術(shù)課程版本更新至1.16,豐富實時計算新特性

1

優(yōu)化Spark技術(shù)課程版本更新至3.3.0,增加Spark新特性講解

1

優(yōu)化優(yōu)化Hadoop模塊,增強Hive模塊

1

優(yōu)化優(yōu)化Python編程內(nèi)容,為Spark提供語言支持

1

優(yōu)化ETL項目增加從HDFS到Hive的數(shù)據(jù)抽取、轉(zhuǎn)換、加載方式

1

優(yōu)化ETL項目增加DataX數(shù)據(jù)采集

1

優(yōu)化ETL項目增加Apache DolphinScheduler調(diào)度全流程數(shù)據(jù)處理過程

1

優(yōu)化Flink技術(shù)棧突出以FlinkSQL為主核心技術(shù)

2022.06.01 升級版本3.0

課程名稱

Python+大數(shù)據(jù)開發(fā)課程

課程推出時間

2022.06.01

課程版本號

3.0

主要針對

          技術(shù)課程:ETL開發(fā)、NoSQL中間件課程、新版Flink課程

主要使用開發(fā)工具

PyCharm、DataGrip、FinalShell

課程介紹

● Python大數(shù)據(jù)V3.0課程全新升級,緊貼各類企業(yè)招聘需求,采用六項目制驅(qū)動技術(shù)學(xué)習(xí),助力國家數(shù)字化轉(zhuǎn)型對數(shù)字人才的大量需求

● 多位Apache社區(qū)貢獻者聯(lián)袂授課,從原理、實戰(zhàn)到源碼,帶你邁入高級開發(fā)工程師行列

● 課程覆蓋企業(yè)級大數(shù)據(jù)四大主流解決方案,包括離線數(shù)倉解決方案、用戶畫像解決方案、流批一體解決方案和湖倉一體解決方案,再現(xiàn)公司中真實的開發(fā)場景,目標(biāo)不止于就業(yè),而是成為各類企業(yè)爭搶的大數(shù)據(jù)開發(fā)工程師。

● 課程升級主流大數(shù)據(jù)技術(shù)棧,全新Hadoop3.2,Spark3.2,F(xiàn)link1.15技術(shù)剖析和新特性使用,推出Python全棧ETL開發(fā)課程,不僅可以學(xué)習(xí)到完整的基礎(chǔ)ETL流程、工具,更能勝任千億級、亞秒級等復(fù)雜數(shù)據(jù)源情況下的工作。

● 新增基于Python和SQL的Flink課程,滿足就業(yè)市場中,大數(shù)據(jù)開發(fā)崗位更多的依賴SQL、Python的需求變化。

● 新增 基于Python的Kafka、Elasticsearch等全新課程,夯實實時計算開發(fā)基礎(chǔ)能力,幫助學(xué)員掌握數(shù)據(jù)開發(fā)工程師重要技能。

● 新增 新版面試加強課,內(nèi)容集成了大廠架構(gòu)解析、SQL專項面試寶典,以及不斷滾動更新的全網(wǎng)大數(shù)據(jù)崗位面試題講解,助力學(xué)員高起點就業(yè)。

1

新增基于Python的全棧ETL開發(fā)課程,助力學(xué)員勝任ETL中高級開發(fā)崗位

1

新增全網(wǎng)基于PySpark技術(shù)棧的用戶畫像項目,替換原有舊項目,提升簡歷含金量

1

新增知行教育項目實戰(zhàn),學(xué)習(xí)完整企業(yè)級項目實戰(zhàn)流程,讓學(xué)生真正掌握大數(shù)據(jù)開發(fā)精髓

1

升級Spark技術(shù)課程為20223.2版本、Flink技術(shù)課程為20221.15版本,全網(wǎng)率先加入Pandas on Spark數(shù)據(jù)開發(fā)內(nèi)容

1

新增FlinkSQL湖倉一體項目、FlinkSQL流批一體課程,進階Flink高階工程師,助力突破年薪50W

1

新增SparkSQL底層執(zhí)行原理,StructuredStreaming結(jié)構(gòu)化流內(nèi)容

1

升級Spark3.2整合Hive3.1.2版本兼容問題

1

新增Pandas_udf函數(shù),通過Apache Arrow框架優(yōu)化數(shù)據(jù)處理速度;Pandas技術(shù)棧,能夠處理中小型數(shù)據(jù)量

1

新增Python版NoSQL課程,達到企業(yè)級萬億級數(shù)據(jù)存儲目標(biāo)

1

新增Kafka-Python完成企業(yè)級消息隊列流量削峰, 異步通信等任務(wù)

1

新增ElasticSearch技術(shù)棧,達到企業(yè)級大數(shù)據(jù)搜索工程師目標(biāo)

1

升級PySpark的DataFrame操作、Flink任務(wù)調(diào)度機制以及Flink內(nèi)存模型、Flink table&sql的整體概述

1

新增FlinkSQL的原理和調(diào)優(yōu)、Flink on Yarn的多種部署方式、Flink transformation的八大物理分區(qū)的原理和實現(xiàn)、Flink的window窗口操作,以及內(nèi)置水印函數(shù)的操作

1

新增Hadoop3.x新特性、Hive3.x新特性,以及數(shù)據(jù)壓縮、存儲格式等內(nèi)容

1

升級Python基礎(chǔ),增加PyEcharts等BI內(nèi)容,實現(xiàn)可視化大屏

1

新增Presto對接多數(shù)據(jù)源實現(xiàn)企業(yè)級大數(shù)據(jù)OLAP分析、Presto加速對Hive數(shù)倉之上數(shù)據(jù)構(gòu)建大數(shù)據(jù)分析引擎,實現(xiàn)多維指標(biāo)計算

1

新增企業(yè)級BI工具FineBI,適用于多行業(yè)項目BI大屏展示,助力企業(yè)數(shù)字決策

1

新增Flink table&sql概念和通用api介紹、sqlclient工具的使用、catalogs知識點的學(xué)習(xí)、流處理中的概念介紹

1

新增FlinkSQL中的窗口使用、FlinkSQL函數(shù)操作、Flinksql連接到外部系統(tǒng)

1

新增Flink源碼前置基礎(chǔ)、源碼的編譯和部署、Flink啟動腳本的解讀、yarn-per-job模式解析

1

升級車聯(lián)網(wǎng)Web展示部分、車聯(lián)網(wǎng)離線Hive數(shù)倉構(gòu)建部分

2021.06.01 升級版本2.0

課程名稱

Python+大數(shù)據(jù)開發(fā)課程

課程推出時間

2021.06.01

課程版本號

2.0

主要針對

新零售數(shù)倉項目、云上服務(wù)器集群

主要使用開發(fā)工具

新零售數(shù)倉項目、云上服務(wù)器集群

課程介紹

● 經(jīng)過不斷的版本迭代,正式推出新零售數(shù)倉項目課程,替換原有的舊項目,打造過硬的項目實戰(zhàn)經(jīng)驗

● 新增價值百萬的UCcloud云上集群生產(chǎn)環(huán)境用于學(xué)習(xí),完全云服務(wù)開發(fā)環(huán)境體驗

● 新增項目實戰(zhàn)環(huán)節(jié),再現(xiàn)企業(yè)中真實工作場景,夯實開發(fā)實戰(zhàn)能力

1

升級PySpark執(zhí)行流程

1

新增Spark3.x新特性以及性能調(diào)優(yōu)九項原則

1

升級Hive版本為新的3.x版本

1

新增自動導(dǎo)入oracle數(shù)據(jù),自動創(chuàng)建hive表,自動創(chuàng)建hive分區(qū),自動關(guān)聯(lián)hdfs數(shù)據(jù),自動創(chuàng)建文件目錄,并記錄自動化過程日志

1

升級Flink版本為新版

1

新增FlinkSQL&Table理論部分比重,使用新版API,使用新增FlinkSQL整合Kafka案例

1

新增美團、平安、小米大數(shù)據(jù)架構(gòu),以及百度廣告業(yè)務(wù)場景大數(shù)據(jù)架構(gòu)解決方案

1

新增flink的global window的操作、內(nèi)置水印函數(shù)的操作

1

升級 flink的window的ReduceFunction、AggregateFunction、ProcessWindowFunction、具有增量聚合的ProcessWindowFunction、在 ProcessWindowFunction 中使用每個窗口狀態(tài)

1

新增flink的state的ttl機制、state的數(shù)據(jù)結(jié)構(gòu)的api升級、Queryable State知識點

1

新增Flink異步io的vertx框架實現(xiàn)、flink的join操作(Tumbling Window Join、Sliding Window Join、Session Window Join)

1

新增Streaming File Sink連接器的小文件操作

1

新增數(shù)據(jù)類型及序列化的原理和實現(xiàn)案例

1

新增Flink Action綜合練習(xí):熱門銷售排行TopN的使用案例、布隆過濾器結(jié)合TTL的使用案例

2021.01.01 升級版本1.6

課程名稱

Python+大數(shù)據(jù)開發(fā)課程

課程推出時間

2021.01.01

課程版本號

1.6

主要針對

Spark3.x

主要使用開發(fā)工具

Pycharm、Idea、Datagrip、FinalShell

課程介紹

● 針對Spark3.x版本的重大更新,應(yīng)對就業(yè)崗位需求的快速變化,大數(shù)據(jù)課程推出基于Python的Spark課程

● 新增大數(shù)據(jù)工程師必備的SQL面試進階強化內(nèi)容,提升大數(shù)據(jù)開發(fā)工程師核心SQL能力

● 新增大廠數(shù)倉架構(gòu)專題內(nèi)容,提升數(shù)據(jù)倉庫建設(shè)能力

1

升級Hadoop為3.3.0版本、Hive版本為3.1.2版本、HIve3.x架構(gòu)

1

新增使用Python實現(xiàn)MR原理機制、OLAP、OLTP區(qū)別

1

新增MapReduce計算PI原理、MapReduce Python接口調(diào)用、Hadoop Streaming提交程序、ETL、ELT區(qū)別

1

新增HIve3新特性、Hive3數(shù)據(jù)壓縮,存儲格式、Hive CTE表達式

1

升級union聯(lián)合查詢、Hive知識點案例 同步為Hive3版本、Linux課程、Mysql RPM安裝方式以支持hive3

1

升級Spark語言為官方推薦使用的Python語言、版本更新為Spark3.1.2發(fā)行版、adoop3.3.0、Hive3.1.2版本

1

新增PySpark的安裝、任務(wù)提交方式、多種模式spark-submit、實現(xiàn)wordcount案例實戰(zhàn)

1

新增Python實現(xiàn)RDD操作、DataFrame操作、實現(xiàn)Sougou分詞案例、IP熱度分析案例、PV-UV-TOPK案例

1

新增PySparkSQL實現(xiàn)基礎(chǔ)統(tǒng)計操作、底層Dataframe轉(zhuǎn)化RDD原理操作、實現(xiàn)電影評分?jǐn)?shù)據(jù)集分析、離線教育案例、新零售分析案例

1

新增PySparkSQL的優(yōu)化方式、分布式引擎實現(xiàn)、與HIve整合

2020.06.01 重磅推出 新版1.0

課程名稱

Python+大數(shù)據(jù)開發(fā)課程

課程推出時間

2020.06.01

課程版本號

1.0

主要針對

大數(shù)據(jù)引入Python語言、Pandas數(shù)據(jù)分析

主要使用開發(fā)工具

Pycharm、Idea、Datagrip

課程介紹

● 8.1版本以前的數(shù)據(jù)開發(fā)課程,需要一定Java基礎(chǔ)和工作經(jīng)驗,為了幫助進入數(shù)據(jù)開發(fā)行業(yè)的零基礎(chǔ)學(xué)員找到適宜的入門途徑,大數(shù)據(jù)引入Python語言,全新升級為Python+大數(shù)據(jù)開發(fā)1.0版本。

● 學(xué)習(xí)Python大數(shù)據(jù)開發(fā),以Python技術(shù)棧處理中小型數(shù)據(jù)集,以大數(shù)據(jù)技術(shù)棧處理海量大規(guī)模數(shù)據(jù),成為全能企業(yè)級數(shù)據(jù)開發(fā)人才。

● 其特點適合零基礎(chǔ)學(xué)員,從完全沒有編程經(jīng)驗開始;課程內(nèi)容寬并且深,技術(shù)大牛親自授課;面向市場,學(xué)即可用,能讓學(xué)員高薪就業(yè)。

1

新增Python基礎(chǔ)語言課程

1

新增Python高級語言進階課程

1

新增Python爬蟲課程

1

新增Pandas數(shù)據(jù)分析課程

1

新增多場景案例分析,應(yīng)對中小型數(shù)據(jù)統(tǒng)計分析

2020.01.01 升級版本8.0

課程名稱

云計算大數(shù)據(jù)實戰(zhàn)班

課程推出時間

2020.01.01

課程版本號

8.0

主要針對系統(tǒng)

Windows、Linux、MacOS

主要使用開發(fā)工具

DataGrip、IDEA

課程介紹

● 根據(jù)大量的行業(yè)調(diào)研分析,本次課程更新以大數(shù)據(jù)開發(fā)為主線,在7.0基礎(chǔ)上再次縮減Java課程占比,弱化各類組件安裝。

● 針對大數(shù)據(jù)技術(shù)深度和廣度進行升級,例如新增Spark內(nèi)存管理、Flink性能優(yōu)化及反壓、背壓原理等同時為提高學(xué)員的就業(yè)薪資,推出多行業(yè)項目解決方案,例如證券、物流等。

● 以周為單位進行課程更新升級,新增Elastic Stack、 出行、電商、視頻、社交等領(lǐng)域大數(shù)據(jù)解決方案、 一線大廠技術(shù)架構(gòu)、 新零售大數(shù)據(jù)項目實戰(zhàn),離線實時全覆蓋。

1

新增數(shù)據(jù)倉庫、ETL、BI開發(fā)

1

新增Oracle及PLSQL編程、數(shù)據(jù)微服務(wù)開發(fā)

1

新增Spark的內(nèi)存管理、avro序列化數(shù)據(jù)源

1

新增continuous processing、偏移量管理機制

1

新增KafkaStreams編程、exactly-once、Kafka事務(wù)、metrics監(jiān)控

1

新增Hbase的協(xié)處理器和phoneix的二級索引實現(xiàn)、布隆過濾器、LSM樹、StoreFiles結(jié)構(gòu)剖析

1

新增FLink性能優(yōu)化及反壓、背壓指標(biāo)計算原理、FlinkSQL On Hive、Flink HistoryServer、Flink的UDF、UDAF、UDTF的實現(xiàn)

1

新增在線教育行業(yè)、物流行業(yè)、物聯(lián)網(wǎng)行業(yè)、證券行業(yè)項目

1

升級分布式緩存系統(tǒng), 萬億級NoSQL海量數(shù)據(jù)存儲, 分布式流處理平臺、電商行業(yè)項目

1

刪除刪減 JavaWeb

2019.07.22 升級版本7.0

課程名稱

云計算大數(shù)據(jù)實戰(zhàn)班

課程推出時間

2019.07.22

課程版本號

7.0

主要針對版本

CDH5.14、Spark2.2.0、Flink1.8、Kafka0.11.0.2、ELK6.0

主要使用開發(fā)工具

IntelliJ IDEAA

課程介紹

● 大數(shù)據(jù)技術(shù)目前在企業(yè)里面使用的越來越廣泛,對大數(shù)據(jù)人才的需求越來越多,大數(shù)據(jù)的整個課程體系是由來自大型互聯(lián)網(wǎng)、外企等具有5年以上的一線大數(shù)據(jù)高級工程師、架構(gòu)師和高級機器學(xué)習(xí)工程師設(shè)計出來的,內(nèi)容含金量非常高。

● 課程體系涉及的技術(shù)以企業(yè)需求為導(dǎo)向,課程涉及的項目也是企業(yè)里面真實的項目,通過理論、實踐和真實的項目相結(jié)合,讓學(xué)員能夠快速、深刻的掌握大數(shù)據(jù)常用的核心技術(shù)和開發(fā)應(yīng)用,同時可以滿足企業(yè)對中、高端大數(shù)據(jù)人才的需求。

● 大數(shù)據(jù)課程體系除了包含常用的Hadoop、Hive、Hbase、ELK、Sqoop、Flume、Kafka、Spark等技術(shù)和項目,還新增了目前互聯(lián)網(wǎng)比較流行的Flink、Druid、Kylin等技術(shù)和項目,同時引入了機器學(xué)習(xí)和深度學(xué)習(xí)Spark Mllib和Tensorflow等技術(shù)和項目實戰(zhàn)。

1

新增Impala即席查詢組件、Kudu列存儲服務(wù)、Structured Streaming結(jié)構(gòu)化數(shù)據(jù)流處理

1

新增spark MLlib數(shù)據(jù)挖掘、spark graphX圖計算

1

升級Flink的基礎(chǔ)課程和案例實戰(zhàn)

1

新增Flink高級特性CEP、Kylin數(shù)據(jù)OLAP分析、Druid時序數(shù)據(jù)實時分析、Kettle數(shù)據(jù)ETL工具

1

新增深度學(xué)習(xí)框架Tensorflow

1

新增用戶畫像、數(shù)據(jù)倉庫大型企業(yè)實戰(zhàn)型項目

2018.09.10 升級版本6.0

課程名稱

云計算大數(shù)據(jù)實戰(zhàn)班

課程推出時間

2018.09.10

課程版本號

6.0

主要針對版本

JDK1.8\CDH2.7.4\Storm1.1.1\Spark 2.1

主要使用開發(fā)工具

IntelliJ IDEA

課程介紹

● 本課程是基于V5.0的一次重大更新,匯總并收集了大數(shù)據(jù)學(xué)科一年以來15個零基礎(chǔ)班級的授課信息、學(xué)習(xí)信息、就業(yè)信息。

● 重新調(diào)整了課程的分布情況,新增了大數(shù)據(jù)綜合項目,新增了第四代大數(shù)據(jù)處理框架FLink,新增了數(shù)據(jù)庫優(yōu)化,新增了JVM基礎(chǔ)及原理,新增了Spark性能調(diào)優(yōu)等內(nèi)容。

● 課程升級方面,主要對機器學(xué)習(xí)課程進行了升級,推薦系統(tǒng)項目后置變成7天的豐富課程,提升學(xué)員進入機器學(xué)習(xí)的競爭力,從而更好的從事人工智能領(lǐng)域相關(guān)的工作。

● 整體而言,課程在培養(yǎng)中高級大數(shù)據(jù)工程師的方向上又前進了一大步。

1

新增Hadoop 2.7.2\Storm1.1.1\Spark 2.1

1

新增Java virtual machine原理分析、Java高并發(fā)核心知識

1

新增數(shù)據(jù)庫優(yōu)化及調(diào)優(yōu)、第四代大數(shù)據(jù)處理框架Apache Flink、Spark原理深入剖析及生產(chǎn)調(diào)優(yōu)

1

新增互聯(lián)網(wǎng)反欺詐項目實戰(zhàn)、廣告系統(tǒng)業(yè)務(wù)模型及CTR預(yù)估

1

新增用戶畫像、數(shù)據(jù)倉庫大型企業(yè)實戰(zhàn)型項目

1

升級用戶畫像概述/數(shù)據(jù)/建模/算法實戰(zhàn)、推薦系統(tǒng)協(xié)同過濾算法實戰(zhàn)、基于內(nèi)容的推薦系統(tǒng)實戰(zhàn)、基于關(guān)聯(lián)規(guī)則推薦系統(tǒng)實戰(zhàn)

1

升級混合推薦與CTR點擊預(yù)估

1

升級Hadoop版本為CDH

2017.07.01 升級版本5.0

課程名稱

云計算大數(shù)據(jù)實戰(zhàn)班

課程推出時間

2017.07.01

課程版本號

5.0

主要針對版本

JDK1.8\Hadoop 2.7.2\Storm1.1.1\Spark 2.1

主要使用開發(fā)工具

Eclipse、IDEA

課程介紹

● Java基礎(chǔ)、JavaWeb核心編程、JavaWeb三大框架、網(wǎng)絡(luò)爬蟲、分布式電商網(wǎng)站開發(fā)等課程模塊。培養(yǎng)學(xué)生編程能力,讓零基礎(chǔ)學(xué)員能夠更好的學(xué)習(xí)大數(shù)據(jù)項目。

● 大數(shù)據(jù)方面方面,新增點擊流日志收集系統(tǒng)、用戶日志分析報表系統(tǒng)、用戶畫像系統(tǒng)等案例。讓學(xué)員不僅僅學(xué)習(xí)到大數(shù)據(jù)技術(shù)點,能夠使用大數(shù)據(jù)解決實際問題。

● 擴充機器學(xué)習(xí)課程為10天。該課程歷時一年研發(fā),深入淺出,能夠讓學(xué)員更好的入門機器學(xué)習(xí),成為人工智能開發(fā)的初級工程師。

1

升級Hadoop 2.7.2\Storm1.1.1\Spark 2.1

1

新增網(wǎng)絡(luò)爬蟲開發(fā)

1

新增三大框架開發(fā)

1

新增JavaWeb核心

1

新增Java語言基礎(chǔ)

2016.03.01 升級版本4.0

課程名稱

云計算大數(shù)據(jù)實戰(zhàn)班

課程推出時間

2016.03.01

課程版本號

4.0

主要針對版本

JDK7.x

主要使用開發(fā)工具

Eclipse、IDEA

課程介紹

● 對比原有課程,本次課程做了重大更新,將大數(shù)據(jù)的核心技術(shù)hadoop及其生態(tài)圈技術(shù)完美的融入到了課程中。

● 課程分階段的進行案例實戰(zhàn)和項目實戰(zhàn),在大數(shù)據(jù)方面知識體系更加完整,課程更加深度有深度,更加貼近實戰(zhàn)。

● 分階段的進行大數(shù)據(jù)生態(tài)圈的學(xué)習(xí),將生態(tài)圈分為離線處理,實時流計算和實現(xiàn)火熱的spark內(nèi)存計算,完美的將生態(tài)圈進行了抽離和歸類,讓學(xué)習(xí)變得更便捷。

1

升級Spark1.6版本

1

新增Linux操作系統(tǒng)和shell腳本學(xué)習(xí)

1

新增JVM內(nèi)存模型分析、NIO、Netty、自定義RPC框架

1

新增電商點擊流日志分析、電商實時日志告警平臺、交易風(fēng)控風(fēng)控平臺、流量日志分析分析

1

新增Spark游戲日志分析項目

1

刪除KVM虛擬化技術(shù)、網(wǎng)絡(luò)基礎(chǔ)和OpenvSwitch技術(shù)、Ceph存儲技術(shù)

1

刪除CloudStack云管理平臺、混合云管理平臺項目

2015.05.15 升級版本3.0

課程名稱

云計算大數(shù)據(jù)實戰(zhàn)班

課程推出時間

2015.05.15

課程版本號

3.0

主要針對版本

JDK7.x

主要使用開發(fā)工具

Eclipse、IDEA

課程介紹

● 本次更新將大數(shù)據(jù)和虛擬化這兩大熱門技術(shù)加入到課程體系中,在大數(shù)據(jù)方面知識體系更加完整,課程更加深度有深度,更加貼近實戰(zhàn)。

● 在虛擬化方面,選擇了在云計算領(lǐng)域常用的虛擬化、網(wǎng)絡(luò)、存儲等技術(shù),并通過Apache CloudStack技術(shù)整合,在此基礎(chǔ)上開發(fā)混合云管理平臺。

1

升級Hadoop2.0版本、Hive優(yōu)化課程

1

新增電信流量運營分析項目、混合云管理平臺項目

1

新增Scala函數(shù)式編程、Spark內(nèi)存計算、KVM虛擬化技術(shù)

1

新增網(wǎng)絡(luò)基礎(chǔ)和OpenvSwitch技術(shù)

1

新增Ceph存儲技術(shù)、CloudStack云管理平臺

2014.02.15 升級版本2.0

課程名稱

云計算大數(shù)據(jù)實戰(zhàn)班

課程推出時間

2014.02.15

課程版本號

2.0

主要針對版本

JDK6.x

主要使用開發(fā)工具

Eclipse

課程介紹

● 隨著近年來云計算大數(shù)據(jù)的大力發(fā)展,市場對相關(guān)人才需求急增,所以本版課程在原有的云計算課程進行了顛覆性的改革,把原來只有1天的課程擴展為7天,加入了Hadoop生態(tài)圈的相關(guān)技術(shù)。

1

升級云計算課程、Hadoop集群部署、優(yōu)化HDSF、MapReduce案例

1

新增Hadoop生態(tài)圈相關(guān)技術(shù):Zookeeper、Hive、Hbase、Sqoop、Flume

1

新增Storm實時計算技術(shù)和案例

1

新增黑馬論壇日志分析項目

2012.02.15 升級版本1.0

課程名稱

云計算大數(shù)據(jù)實戰(zhàn)班

課程推出時間

2012.02.15

課程版本號

1.0

主要針對版本

JDK6.0

主要使用開發(fā)工具

Eclipse

課程介紹

● 近期云計算概念火爆異常,傳智教育敏銳的嗅探到大數(shù)據(jù)技術(shù)的悄然興起,并預(yù)測大數(shù)據(jù)技術(shù)將會像雨后春筍一樣快速發(fā)展,所以傳智教育與時俱進在課程中引入了1天的云計算課程,作為擁有大數(shù)據(jù)課程的培訓(xùn)機構(gòu),傳智教育大數(shù)據(jù)實戰(zhàn)班助力學(xué)員可以掌握新的技術(shù),拓寬學(xué)員的就業(yè)方向,增強就業(yè)競爭力。

1

新增云計算課程:云計算和大數(shù)據(jù)相關(guān)概念

1

新增Hadoop 1.0偽分布式環(huán)境部署

1

新增HDFS、MapReduce應(yīng)用案例

                                                       

 
和我們在線交談!