教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000

大數(shù)據(jù)Hive+Spark離線數(shù)倉工業(yè)項目實戰(zhàn)

更新時間:2023年03月14日16時26分 來源:傳智教育 瀏覽次數(shù):

  課程簡介:

  通過大數(shù)據(jù)技術架構,解決工業(yè)物聯(lián)網制造行業(yè)的數(shù)據(jù)存儲和分析、可視化、個性化推薦問題。一站制造項目主要基于Hive數(shù)倉分層來存儲各個業(yè)務指標數(shù)據(jù),基于sparkSQL做數(shù)據(jù)分析。核心業(yè)務涉及運營商、呼叫中心、工單、油站、倉儲物料。

  講解方式:

  真項目真實站。讓有經驗的工程師也能有所收獲

  本視頻主要面向的群體是:

  * 有Python基礎

  * 有Hadoop生態(tài)體系基礎

  * 有Spark基礎

  * 想要更加深入學習大數(shù)據(jù)內存計算相關知識、并掌握實戰(zhàn)項目開發(fā)

  課程亮點:

  一站制造項目基石與前瞻、數(shù)據(jù)倉庫建模方法 離線數(shù)倉分層、Sqoop數(shù)據(jù)存采集、數(shù)倉ODS&DWD層建設、數(shù)倉DWS維度層建設、數(shù)倉DWB指標層建設、數(shù)倉ST主題層建設、一站制造任務調度、Prometheus概述 實現(xiàn)linux服務器監(jiān)控 實現(xiàn)MySQL服務監(jiān)控 實現(xiàn)Flink服務監(jiān)控 Grafana監(jiān)控看板。一站制造:運營ciss系統(tǒng)、oa系統(tǒng)、erp系統(tǒng)一體化智能制造大數(shù)據(jù)分析系統(tǒng)

  課程內容:

  1.使用主流的Hive+Spark構建離線數(shù)倉

  2.基于完整的工業(yè)業(yè)務背景實現(xiàn)的離線和實時大數(shù)據(jù)業(yè)務豐富地地圖展示可視化開發(fā)

  3.基于Airflow完成大數(shù)據(jù)調度任務

  4.學會使用Spark SQL處理復雜業(yè)務完整的離線采集 + 實時采集方案

  5.掌握如何使用調度平臺調度T+1批處理任務Spark離線任務和實時任務整合,統(tǒng)一由YARN做資源管理

  Slogan:

  通過項目實戰(zhàn)強化Spark技術構建企業(yè)級大數(shù)據(jù)平臺能力

  Hive+Spark離線數(shù)倉工業(yè)項目實戰(zhàn)(滑動查看)

  程目錄  

  大數(shù)據(jù)Hive+Spark離線數(shù)倉工業(yè)項目實戰(zhàn)(滑動查看)

  第1節(jié) - 知識點01:課程目標

  第2節(jié) - 知識點02:項目背景

  第3節(jié) - 知識點03:項目需求

  第4節(jié) - 知識點04:業(yè)務流程

  第5節(jié) - 知識點05:技術選型

  第6節(jié) - 知識點06:Docker的介紹

  第7節(jié) - 知識點07:Docker的網絡

  第8節(jié) - 知識點08:Docker的使用

  第9節(jié) - 知識點09:Oracle的介紹

  第10節(jié) - 知識點10:集群軟件規(guī)劃

  第11節(jié) - 知識點11:項目環(huán)境導入

  第12節(jié) - 知識點12:項目環(huán)境配置

  第13節(jié) - 知識點13:項目環(huán)境測試:Oracle

  第14節(jié) - 知識點14:項目環(huán)境測試:MySQL

  第15節(jié) - 知識點15:項目環(huán)境測試:Hadoop

  第16節(jié) - 知識點16:項目環(huán)境測試:Hive

  第17節(jié) - 知識點17:項目環(huán)境測試:Spark

  第18節(jié) - 知識點18:項目環(huán)境測試:Sqoop

  第19節(jié) - 知識點01:課程回顧

  第20節(jié) - 知識點02:課程目標

  第21節(jié) - 知識點03:數(shù)倉設計回顧

  第22節(jié) - 知識點04:分層整體設計

  第23節(jié) - 知識點05:分層具體功能

  第24節(jié) - 知識點06:業(yè)務系統(tǒng)結構

  第25節(jié) - 知識點07:業(yè)務系統(tǒng)數(shù)據(jù)

  第26節(jié) - 知識點08:全量與增量分析

  第27節(jié) - 知識點09:Sqoop命令回顧

  第28節(jié) - 知識點10:YARN資源調度及配置

  第29節(jié) - 知識點11:MR的Uber模式

  第30節(jié) - 知識點12:Sqoop采集數(shù)據(jù)格式問題

  第31節(jié) - 知識點13:問題解決:Avro格式

  第32節(jié) - 知識點14:Sqoop增量采集方案回顧

  第33節(jié) - 知識點15:腳本開發(fā)思路

  第34節(jié) - 知識點16:全量及增量采集腳本運行

  第35節(jié) - 知識點17:Schema備份及上傳

  第36節(jié) - 知識點18:Python腳本

  第37節(jié) - 知識點01:課程 回顧

  第38節(jié) - 知識點02:課程 目標

  第39節(jié) - 知識點03:數(shù)倉分層回顧

  第40節(jié) - 知識點04:Hive建表語法

  第41節(jié) - 知識點05:Avro建表語法

  第42節(jié) - 知識點06:ODS層構建:需求分析

  第43節(jié) - 知識點07:ODS層構建:創(chuàng)建項目環(huán)境

  第44節(jié) - 知識點08:ODS層構建:代碼導入

  第45節(jié) - 知識點09:ODS層構建:代碼結構及修改

  第46節(jié) - 知識點10:ODS層構建:連接代碼及測試

  第47節(jié) - 知識點11:ODS層構建:建庫代碼及測試

  第48節(jié) - 知識點12:ODS層構建:建表代碼及測試

  第49節(jié) - 知識點13:ODS層構建:申明分區(qū)代碼及測試

  第50節(jié) - 知識點14:ODS層與DWD層區(qū)別

  第51節(jié) - 知識點15:DWD層構建:需求分析

  第52節(jié) - 知識點16:DWD層構建:建庫實現(xiàn)測試

  第53節(jié) - 知識點17:DWD層構建:建表實現(xiàn)測試

  第54節(jié) - 知識點18:DWD層構建:數(shù)據(jù)抽取分析&知識點19:DWD層構建:數(shù)據(jù)抽取測試

  第55節(jié) - 知識點20:整體代碼重難點回顧

  第56節(jié) - 知識點01: 課程回顧

  第57節(jié) - 知識點02: 課程目標

  第58節(jié) - 知識點03:維度建模回顧:建模流程

  第59節(jié) - 知識點04:維度建?;仡櫍壕S度設計

  第60節(jié) - 知識點05:維度建?;仡櫍壕S度模型

  第61節(jié) - 知識點06:一站制造業(yè)務主題劃分

  第62節(jié) - 知識點07:一站制造業(yè)務維度設計

  第63節(jié) - 知識點08:一站制造業(yè)務主題維度矩陣

  第64節(jié) - 知識點09:行政地區(qū)維度設計

  第65節(jié) - 知識點10:行政地區(qū)維度構建

  第66節(jié) - 知識點11:日期時間維度設計

  第67節(jié) - 知識點12:日期時間維度構建

  第68節(jié) - 知識點13:服務網點維度設計

  第69節(jié) - 知識點14:服務網點維度構建

  第70節(jié) - 知識點15:油站維度設計

  第71節(jié) - 知識點16:油站維度構建

  第72節(jié) - 知識點17:其他維度:組織機構

  第73節(jié) - 知識點18:其他維度:倉庫、物流

  第74節(jié) - 知識點 01:課程回顧

  第75節(jié) - 知識點 02:課程目標

  第76節(jié) - 知識點03:分層回顧

  第77節(jié) - 知識點04:DWB層的設計

  第78節(jié) - 知識點05:事實主題指標劃分

  第79節(jié) - 知識點06:呼叫中心事實指標需求分析

  第80節(jié) - 知識點07:呼叫中心事實指標構建

  第81節(jié) - 知識點08:油站事實指標需求分析

  第82節(jié) - 知識點09:油站事實指標構建

  第83節(jié) - 知識點10:工單事實指標需求分析

  第84節(jié) - 知識點11:工單事實指標構建

  第85節(jié) - 知識點12:安裝事實指標需求分析

  第86節(jié) - 知識點13:安裝事實指標構建

  第87節(jié) - 知識點14:維修事實指標需求分析

  第88節(jié) - 知識點15:維修事實指標構建

  第89節(jié) - 知識點16:客戶回訪事實指標需求分析

  第90節(jié) - 知識點17:客戶回訪事實指標

  第91節(jié) - 知識點18:費用事實指標分析及實現(xiàn)(上)

  第92節(jié) - 知識點18:費用事實指標分析及實現(xiàn)(下)

  第93節(jié) - 知識點19:差旅事實指標分析及實現(xiàn)

  第94節(jié) - 知識點20:網點物料事實指標分析及實現(xiàn)

  第95節(jié) - 附錄一:在線教育項目回顧

  第96節(jié) - 附錄二:一站制造項目回顧

  第97節(jié) - 知識點01:課程回顧

  第98節(jié) - 知識點02:課程目標

  第99節(jié) - 知識點03:數(shù)倉分層回顧

  第100節(jié) - 知識點04:ST層的設計

  第101節(jié) - 知識點05:服務域:工單主題分析

  第102節(jié) - 知識點06:服務域:工單主題實現(xiàn)

  第103節(jié) - 知識點07:服務域:油站主題分析

  第104節(jié) - 知識點08:服務域:油站主題實現(xiàn)

  第105節(jié) - 知識點09:服務域:安裝主題分析實現(xiàn)

  第106節(jié) - 知識點10:服務域:維修主題分析實現(xiàn)

  第107節(jié) - 知識點11:服務域:回訪主題分析

  第108節(jié) - 知識點12:服務域:回訪主題實現(xiàn)

  第109節(jié) - 知識點13:服務域:派單主題分析實現(xiàn)

  第110節(jié) - 知識點14:服務域:費用主題分析

  第111節(jié) - 知識點15:服務域:費用主題實現(xiàn)

  第112節(jié) - 知識點16:物料域:主題模型

  第113節(jié) - 知識點17:DM層:設計及運營部門主題

  第114節(jié) - 知識點01:課程目標

  第115節(jié) - 知識點02:任務流調度回顧

  第116節(jié) - 知識點03:AirFlow的介紹

  第117節(jié) - 知識點04:AirFlow的部署啟動

  第118節(jié) - 知識點05:AirFlow的架構組件

  第119節(jié) - 知識點06:AirFlow的開發(fā)規(guī)則

  第120節(jié) - 知識點07:Shell調度測試

  第121節(jié) - 知識點08:依賴調度測試

  第122節(jié) - 知識點09:Python調度測試

  第123節(jié) - 知識點10:Oracle與MySQL調度方法

  第124節(jié) - 知識點11:大數(shù)據(jù)組件調度方法

  第125節(jié) - 知識點12:定時調度使用

  第126節(jié) - 知識點13:Airflow常用命令

  第127節(jié) - 知識點14:郵件告警使用

  第128節(jié) - 知識點15:一站制造中的調度

  第129節(jié) - 知識點16:回顧:Spark核心概念(上)

  第130節(jié) - 知識點16:回顧:Spark核心概念(下)

  第131節(jié) - 知識點01:課程目標

  第132節(jié) - 知識點02:監(jiān)控需求及常見工具

  第133節(jié) - 知識點03:Prometheus的介紹

  第134節(jié) - 知識點04:Prometheus的架構

  第135節(jié) - 知識點05:Prometheus的部署

  第136節(jié) - 知識點06:node_exporter插件

  第137節(jié) - 知識點07:mysqld_exportor插件

  第138節(jié) - 知識點08:可視化工具Grafana介紹

  第139節(jié) - 知識點09:可視化工具Grafana部署

  第140節(jié) - 知識點10:Grafana集成Prometheus

  第141節(jié) - 知識點11:Grafana集成MySQL監(jiān)控

  第142節(jié) - 知識點12:項目總結:背景需求

  第143節(jié) - 知識點13:項目總結:數(shù)據(jù)來源

  第144節(jié) - 知識點14:項目總結:主題劃分

  第145節(jié) - 知識點15:項目總結:技術架構

  第146節(jié) - 知識點16:項目總結:數(shù)倉設計

  第147節(jié) - 知識點17:項目總結:優(yōu)化及新特性

  第148節(jié) - 知識點18:項目總結:問題

  第149節(jié) - 知識點19:項目總結:數(shù)據(jù)規(guī)模

  第150節(jié) - 知識點20:項目總結:簡歷模板

  未完待續(xù),黑馬老師996更新中......


掌握行業(yè)熱門技術

是每個程序員都應該重視的事情

Hive+Spark如此重要,你還沒學?

觀看全集視頻

- 完整配套資料領取方式 -

(視頻+講義+源碼+筆記+資料)

黑馬程序員視頻庫

搜索《大數(shù)據(jù)Hive+Spark離線數(shù)倉工業(yè)項目實戰(zhàn)

0 分享到:
和我們在線交談!