Python+大數(shù)據(jù)開發(fā)課程大綱

• SQL基礎(chǔ)

• Hadoop技術(shù)棧

• 千億級離線數(shù)倉項目

• 千億級離線數(shù)倉項目實戰(zhàn)

• Python基礎(chǔ)編程

• ETL實戰(zhàn)

• BI報表開發(fā)項目實戰(zhàn)(新增)

• Spark技術(shù)棧

• 用戶畫像解決方案

• PB級內(nèi)存計算項目實戰(zhàn)

• 基于AI大模型數(shù)據(jù)開發(fā)項目(新增)

• 面試加強

• 阿里云實時計算Flink全棧開發(fā)(更新)

• 阿里云實時計算項目(更新)

查看詳細課程大綱>SQL基礎(chǔ)課時：8天

主要內(nèi)容

· Linux操作系統(tǒng)· MySQL與SQL· Kettle與BI工具· 電商運營指標(biāo)分析

可解決的現(xiàn)實問題

熟練掌握MySQL\SQL、Kettle以及BI工具使用，能夠解決傳統(tǒng)數(shù)倉業(yè)務(wù)開發(fā)任務(wù)。

可掌握的核心能力

1. 掌握MySQL數(shù)據(jù)庫的使用；
2. 掌握SQL語法；
3. 掌握Kettle數(shù)據(jù)遷移工具的使用；
4. 熟練使用BI可視化工具；
5. 對數(shù)據(jù)開發(fā)有一定認(rèn)知，掌握BI工程師所具備的基本技能。

查看詳細課程大綱>Hadoop技術(shù)棧課時：11天

主要內(nèi)容

· 大數(shù)據(jù)開發(fā)Hadoop基礎(chǔ)· Hive基礎(chǔ)· Hive進階

可解決的現(xiàn)實問題

熟悉Linux操作系統(tǒng)，以及各種Linux命令，能夠解決企業(yè)級大數(shù)據(jù)集群搭建問題，為進階大數(shù)據(jù)開發(fā)奠定基礎(chǔ)。

可掌握的核心能力

1.掌握Linux常用命令，為數(shù)據(jù)開發(fā)后續(xù)學(xué)習(xí)打下的良好基礎(chǔ)；
2.掌握大數(shù)據(jù)的核心框架Hadoop以及其生態(tài)體系，完成HDFS、MapReduce及Yarn機制基本理解與使用；能夠搭建Hadoop高可用HA集群；
3.掌握Hive的使用和調(diào)優(yōu)；
4.具備Hadoop開發(fā)能力、離線數(shù)據(jù)倉庫開發(fā)能力；
5.能夠完成基本構(gòu)建企業(yè)級數(shù)倉。

查看詳細課程大綱>千億級離線數(shù)倉項目課時：11天

主要內(nèi)容

· 大數(shù)據(jù)部署運維：Cloudera Manager · 分析決策需求：數(shù)據(jù)倉庫 · 數(shù)據(jù)采集：DataX
· 數(shù)據(jù)分析：Hive· 數(shù)據(jù)調(diào)度：Dolphinscheduler · OLAP系統(tǒng)存儲：PostgreSql
· Fine Report數(shù)據(jù)報表與大屏· 數(shù)倉建模: 范式與維度建模
· 五大核心主題域開發(fā): 銷售域、供應(yīng)鏈域、會員域等

可解決的現(xiàn)實問題

能夠解決企業(yè)級常見數(shù)據(jù)倉庫搭建，從項目的需求、技術(shù)架構(gòu)、業(yè)務(wù)架構(gòu)、部署平臺、ETL設(shè)計、作業(yè)調(diào)度等整套pipeline，完成大數(shù)據(jù)體系下的企業(yè)級數(shù)據(jù)倉庫構(gòu)建。

可掌握的核心能力

1.掌握泛電商行業(yè)離線數(shù)倉的分層與建模，從需求、設(shè)計、研發(fā)、測試到落地上線的完整項目流程；
2.行業(yè)內(nèi)首個深度講解數(shù)倉建模模型方案的主體項目；
3.包括海量數(shù)據(jù)場景下如何優(yōu)化配置；
4.掌握項目遷移能力，能夠?qū)㈨椖窟w移至泛電商的各個領(lǐng)域；
5.掌握在泛電商行業(yè)中關(guān)于全量與增量數(shù)據(jù)處理模式；
6.提供泛電商行業(yè)下的數(shù)據(jù)存儲分析以及服務(wù)監(jiān)控方案。

查看詳細課程大綱>千億級離線數(shù)倉項目實戰(zhàn)課時：5天

主要內(nèi)容

· 大數(shù)據(jù)部署運維：Cloudera Manager· 分析決策需求：數(shù)據(jù)倉庫 · 數(shù)據(jù)采集：sqoop · 數(shù)據(jù)分析：Hive · 分組完成項目

可解決的現(xiàn)實問題

按照企業(yè)級大數(shù)據(jù)開發(fā)流程，獨立完成項目開發(fā)，掌握企業(yè)級多場景大數(shù)據(jù)離線數(shù)倉開發(fā)能力，從數(shù)倉分層，數(shù)倉建模，指標(biāo)統(tǒng)計，指標(biāo)展示完成完整的大數(shù)據(jù)項目。

可掌握的核心能力

1.掌握教育行業(yè)離線數(shù)倉的分層與建模，從需求、設(shè)計、研發(fā)、測試到落地上線的完整項目流程；
2.真實業(yè)務(wù)邏輯，共涉及20多個主題，100多個指標(biāo)，提升學(xué)員在教育行業(yè)中的核心競爭力；
3.包括海量數(shù)據(jù)場景下如何優(yōu)化配置；
4.拉鏈表的具體應(yīng)用；
5.新增數(shù)據(jù)和更新數(shù)據(jù)的抽取和分析；
6.Hive函數(shù)的具體應(yīng)用；
7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能。

查看詳細課程大綱>Python基礎(chǔ)編程課時：8天

主要內(nèi)容

· Python基礎(chǔ)語法· Python面向?qū)ο?/span>· Python高級語法· Python多任務(wù)編程· Python網(wǎng)絡(luò)編程

可解決的現(xiàn)實問題

熟練掌握Python語言，建立編程思維，使學(xué)員能夠熟練使用Python技術(shù)完成程序編寫。
熟練使用Python面向?qū)ο蟪绦蛟O(shè)計思想，掌握數(shù)據(jù)開發(fā)必備Python高級語法，解決常見Python開發(fā)問題。

可掌握的核心能力

1.掌握Python開發(fā)環(huán)境基本配置；
2.掌握運算符、表達式、流程控制語句、數(shù)組等的使用；
3.掌握字符串的基本操作；
4.初步建立面向?qū)ο蟮木幊趟季S；
5.熟悉異常捕獲的基本流程及使用方式；
6.掌握類和對象的基本使用方式；
7.知道多進程多線程的原理。

查看詳細課程大綱>ETL實戰(zhàn)課時：5天

主要內(nèi)容

· ETL概念與工具· ETL項目需求分析· ETL項目架構(gòu)設(shè)計· Python ETL實戰(zhàn)

可解決的現(xiàn)實問題

掌握Python完成數(shù)據(jù)ETL實戰(zhàn)，能夠解決中小型數(shù)據(jù)量數(shù)據(jù)處理相關(guān)任務(wù)。

可掌握的核心能力

1. 掌握ETL的相關(guān)概念；
2. 掌握基于Python語言完成ETL任務(wù)開發(fā)實戰(zhàn)；
3. 基于ETL實戰(zhàn)鍛煉Python編程能力，包括（元數(shù)據(jù)管理、數(shù)據(jù)模型、項目配置、單元測試、工具方法抽取等）；
4. 掌握BI數(shù)據(jù)分析實戰(zhàn)。

查看詳細課程大綱>BI報表開發(fā)項目實戰(zhàn)課時：3天

主要內(nèi)容

· BI報表開發(fā)需求分析· BI報表工具· FineReport報表入門· 泛電商行業(yè)五大主題的實現(xiàn)

可解決的現(xiàn)實問題

掌握使用量最廣BI報表開發(fā)工具FineReport，能夠基于FineReport完成不同行業(yè)BI報表開發(fā)及業(yè)務(wù)決策。

可掌握的核心能力

1.掌握BI報表開發(fā)需求分析
2.掌握BI報表工具
3.掌握FineReport報表

查看詳細課程大綱>Spark技術(shù)棧課時：10天

主要內(nèi)容

· 大數(shù)據(jù)Spark技術(shù)棧· SparkSQL數(shù)據(jù)處理與統(tǒng)計分析· Spark案例實戰(zhàn)

可解決的現(xiàn)實問題

掌握全球熱門的Spark技術(shù)棧，通過SparkCore和SparkSQL解決數(shù)據(jù)處理與統(tǒng)計分析工作，進階高級大數(shù)據(jù)開發(fā)工程師。

可掌握的核心能力

1. 掌握Spark的RDD、DAG、CheckPoint等設(shè)計思想；
2. 掌握SparkSQL結(jié)構(gòu)化數(shù)據(jù)處理，Spark On Hive；
3. 掌握Structured Streaming整合多數(shù)據(jù)源完成實時數(shù)據(jù)處理；
4. 具備Spark全棧開發(fā)能力，滿足大數(shù)據(jù)行業(yè)多場景統(tǒng)一技術(shù)棧的數(shù)據(jù)開發(fā)，提供就業(yè)核心競爭力。

查看詳細課程大綱>用戶畫像解決方案課時：10天

主要內(nèi)容

· SparkSQL整合ES自定義數(shù)據(jù)源· DS任務(wù)界面化調(diào)度· 用戶畫像標(biāo)簽構(gòu)建規(guī)則· 用戶畫像規(guī)則類標(biāo)簽構(gòu)建· 用戶畫像統(tǒng)計類標(biāo)簽構(gòu)建

可解決的現(xiàn)實問題

項目提供了全行業(yè)用戶畫像解決方案, 使用SparkSQL+ES+DS構(gòu)建企業(yè)級用戶畫像，通過SparkSQL+MySQL構(gòu)建通用行業(yè)用戶畫像標(biāo)簽體系。

可掌握的核心能力

1.掌握SparkSQL整合ES自定義數(shù)據(jù)源；
2.掌握用戶畫像構(gòu)建流程；
3.掌握用戶畫像標(biāo)簽構(gòu)建規(guī)則；
4.掌握用戶畫像規(guī)則類標(biāo)簽構(gòu)建；
5.掌握用戶畫像統(tǒng)計類標(biāo)簽構(gòu)建。

查看詳細課程大綱>PB級內(nèi)存計算項目實戰(zhàn)課時：3天

主要內(nèi)容

· 多場景畫像標(biāo)簽項目實戰(zhàn)· 基于Spark全棧技術(shù)構(gòu)建企業(yè)級大數(shù)據(jù)開發(fā)平臺

可解決的現(xiàn)實問題

基于Spark全棧技術(shù)構(gòu)建企業(yè)級大數(shù)據(jù)開發(fā)平臺，學(xué)生分組獨立完成項目實戰(zhàn)，能夠勝任常見大數(shù)據(jù)平臺開發(fā)工作，助力企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型。

可掌握的核心能力

1.掌握保險行業(yè)數(shù)據(jù)分析流程；
2.掌握保費計算流程；
3.掌握DS調(diào)度流程。

查看詳細課程大綱>基于AI大模型數(shù)據(jù)開發(fā)項目實戰(zhàn)課時：2天

主要內(nèi)容

· ChatGPT生成代碼· ChatGPT改Bug· 基于AI大模型的出行大數(shù)據(jù)平臺數(shù)倉搭建· 基于AI大模型指標(biāo)開發(fā)

可解決的現(xiàn)實問題

掌握如何使用AI大模型幫助數(shù)據(jù)開發(fā)和數(shù)據(jù)分析編程效率提升，具備使用AI大模型解決問題的能力。

可掌握的核心能力

1.完成ChatGPT基礎(chǔ)使用；
2.基于ChatGPT可以完成改Bug，寫注釋，生成代碼等常見編程任務(wù)；
3.能夠基于合理的Prompts提示詞進行提問，助力提升編程效率。

查看詳細課程大綱>面試加強課時：4天

主要內(nèi)容

· 核心技能知識點以及常見面試題強化學(xué)習(xí)

可解決的現(xiàn)實問題

對學(xué)習(xí)的內(nèi)容進行整體回顧，并分析經(jīng)典面試題，指導(dǎo)簡歷，面試和溝通技巧。

可掌握的核心能力

1.強化面試就業(yè)核心面試題；
2.梳理大數(shù)據(jù)架構(gòu)及解決方案；
3.剖析多行業(yè)大數(shù)據(jù)架構(gòu)。

查看詳細課程大綱>阿里云實時計算Flink全棧開發(fā)課時：5天

主要內(nèi)容

· 阿里云Flink入門· Flink SQL· Flink作業(yè)開發(fā)· 阿里云Flink運維

可解決的現(xiàn)實問題

掌握當(dāng)下熱門的流批一體化分布式計算框架阿里云Flink及其生態(tài)，解決實時計算經(jīng)典場景問題，適應(yīng)市場對阿里云Flink越發(fā)增長的需求。

可掌握的核心能力

1.掌握基于阿里云Flink進行實時和離線數(shù)據(jù)處理、分析；
2.掌握基于阿里云Flink的多流并行處理技術(shù)；
3.掌握FlinkCDC多數(shù)據(jù)源采集技術(shù)。

查看詳細課程大綱>阿里云實時計算項目課時：5天

主要內(nèi)容

基于阿里云Flink + Kafka + Paimon 湖倉一體技術(shù)架構(gòu)，實現(xiàn)在線視頻行業(yè)大規(guī)模流數(shù)據(jù)處理和實時分析。本項目依托 阿里云 Flink 流處理計算引擎， 通過 FlinkCDC 實時采集 RDS MySQL 數(shù)據(jù)庫數(shù)據(jù)，實現(xiàn)數(shù)據(jù)采集的斷點續(xù)傳，使用Kafka 作為實時數(shù)倉，使用 Paimon 實現(xiàn)數(shù)據(jù)的持久化和Flink 批處理，實現(xiàn)計算的流批一體，數(shù)據(jù)存儲的湖倉一體，采用StarRocks對接DataV完成實時業(yè)務(wù)大屏展示。

可解決的現(xiàn)實問題

采集超過千萬條在線視頻的數(shù)據(jù)，實時高性能海量數(shù)據(jù)分析與存儲業(yè)務(wù)數(shù)據(jù)實時大屏場景實現(xiàn)。

可掌握的核心能力

1.湖倉一體化解決方案基于Flink+Paimon湖倉一體技術(shù)架構(gòu)；
2.基于FlinkCDC完成MySQL等數(shù)據(jù)源的數(shù)據(jù)采集；
3.FlinkSQL流批一體架構(gòu)實現(xiàn)實時數(shù)據(jù)計算；
4.使用StarRocks進行海量多維分析；
5.掌握數(shù)據(jù)報表分析；
6.掌握業(yè)務(wù)數(shù)據(jù)實時大屏場景實現(xiàn)。