更新時間:2023年03月14日16時26分 來源:傳智教育 瀏覽次數(shù):
通過大數(shù)據(jù)技術架構,解決工業(yè)物聯(lián)網制造行業(yè)的數(shù)據(jù)存儲和分析、可視化、個性化推薦問題。一站制造項目主要基于Hive數(shù)倉分層來存儲各個業(yè)務指標數(shù)據(jù),基于sparkSQL做數(shù)據(jù)分析。核心業(yè)務涉及運營商、呼叫中心、工單、油站、倉儲物料。
真項目真實站。讓有經驗的工程師也能有所收獲
本視頻主要面向的群體是:
* 有Python基礎
* 有Hadoop生態(tài)體系基礎
* 有Spark基礎
* 想要更加深入學習大數(shù)據(jù)內存計算相關知識、并掌握實戰(zhàn)項目開發(fā)
一站制造項目基石與前瞻、數(shù)據(jù)倉庫建模方法 離線數(shù)倉分層、Sqoop數(shù)據(jù)存采集、數(shù)倉ODS&DWD層建設、數(shù)倉DWS維度層建設、數(shù)倉DWB指標層建設、數(shù)倉ST主題層建設、一站制造任務調度、Prometheus概述 實現(xiàn)linux服務器監(jiān)控 實現(xiàn)MySQL服務監(jiān)控 實現(xiàn)Flink服務監(jiān)控 Grafana監(jiān)控看板。一站制造:運營ciss系統(tǒng)、oa系統(tǒng)、erp系統(tǒng)一體化智能制造大數(shù)據(jù)分析系統(tǒng)
1.使用主流的Hive+Spark構建離線數(shù)倉
2.基于完整的工業(yè)業(yè)務背景實現(xiàn)的離線和實時大數(shù)據(jù)業(yè)務豐富地地圖展示可視化開發(fā)
3.基于Airflow完成大數(shù)據(jù)調度任務
4.學會使用Spark SQL處理復雜業(yè)務完整的離線采集 + 實時采集方案
5.掌握如何使用調度平臺調度T+1批處理任務Spark離線任務和實時任務整合,統(tǒng)一由YARN做資源管理
Slogan:
通過項目實戰(zhàn)強化Spark技術構建企業(yè)級大數(shù)據(jù)平臺能力
Hive+Spark離線數(shù)倉工業(yè)項目實戰(zhàn)(滑動查看)
大數(shù)據(jù)Hive+Spark離線數(shù)倉工業(yè)項目實戰(zhàn)(滑動查看)
第1節(jié) - 知識點01:課程目標
第2節(jié) - 知識點02:項目背景
第3節(jié) - 知識點03:項目需求
第4節(jié) - 知識點04:業(yè)務流程
第5節(jié) - 知識點05:技術選型
第6節(jié) - 知識點06:Docker的介紹
第7節(jié) - 知識點07:Docker的網絡
第8節(jié) - 知識點08:Docker的使用
第9節(jié) - 知識點09:Oracle的介紹
第10節(jié) - 知識點10:集群軟件規(guī)劃
第11節(jié) - 知識點11:項目環(huán)境導入
第12節(jié) - 知識點12:項目環(huán)境配置
第13節(jié) - 知識點13:項目環(huán)境測試:Oracle
第14節(jié) - 知識點14:項目環(huán)境測試:MySQL
第15節(jié) - 知識點15:項目環(huán)境測試:Hadoop
第16節(jié) - 知識點16:項目環(huán)境測試:Hive
第17節(jié) - 知識點17:項目環(huán)境測試:Spark
第18節(jié) - 知識點18:項目環(huán)境測試:Sqoop
第19節(jié) - 知識點01:課程回顧
第20節(jié) - 知識點02:課程目標
第21節(jié) - 知識點03:數(shù)倉設計回顧
第22節(jié) - 知識點04:分層整體設計
第23節(jié) - 知識點05:分層具體功能
第24節(jié) - 知識點06:業(yè)務系統(tǒng)結構
第25節(jié) - 知識點07:業(yè)務系統(tǒng)數(shù)據(jù)
第26節(jié) - 知識點08:全量與增量分析
第27節(jié) - 知識點09:Sqoop命令回顧
第28節(jié) - 知識點10:YARN資源調度及配置
第29節(jié) - 知識點11:MR的Uber模式
第30節(jié) - 知識點12:Sqoop采集數(shù)據(jù)格式問題
第31節(jié) - 知識點13:問題解決:Avro格式
第32節(jié) - 知識點14:Sqoop增量采集方案回顧
第33節(jié) - 知識點15:腳本開發(fā)思路
第34節(jié) - 知識點16:全量及增量采集腳本運行
第35節(jié) - 知識點17:Schema備份及上傳
第36節(jié) - 知識點18:Python腳本
第37節(jié) - 知識點01:課程 回顧
第38節(jié) - 知識點02:課程 目標
第39節(jié) - 知識點03:數(shù)倉分層回顧
第40節(jié) - 知識點04:Hive建表語法
第41節(jié) - 知識點05:Avro建表語法
第42節(jié) - 知識點06:ODS層構建:需求分析
第43節(jié) - 知識點07:ODS層構建:創(chuàng)建項目環(huán)境
第44節(jié) - 知識點08:ODS層構建:代碼導入
第45節(jié) - 知識點09:ODS層構建:代碼結構及修改
第46節(jié) - 知識點10:ODS層構建:連接代碼及測試
第47節(jié) - 知識點11:ODS層構建:建庫代碼及測試
第48節(jié) - 知識點12:ODS層構建:建表代碼及測試
第49節(jié) - 知識點13:ODS層構建:申明分區(qū)代碼及測試
第50節(jié) - 知識點14:ODS層與DWD層區(qū)別
第51節(jié) - 知識點15:DWD層構建:需求分析
第52節(jié) - 知識點16:DWD層構建:建庫實現(xiàn)測試
第53節(jié) - 知識點17:DWD層構建:建表實現(xiàn)測試
第54節(jié) - 知識點18:DWD層構建:數(shù)據(jù)抽取分析&知識點19:DWD層構建:數(shù)據(jù)抽取測試
第55節(jié) - 知識點20:整體代碼重難點回顧
第56節(jié) - 知識點01: 課程回顧
第57節(jié) - 知識點02: 課程目標
第58節(jié) - 知識點03:維度建模回顧:建模流程
第59節(jié) - 知識點04:維度建?;仡櫍壕S度設計
第60節(jié) - 知識點05:維度建?;仡櫍壕S度模型
第61節(jié) - 知識點06:一站制造業(yè)務主題劃分
第62節(jié) - 知識點07:一站制造業(yè)務維度設計
第63節(jié) - 知識點08:一站制造業(yè)務主題維度矩陣
第64節(jié) - 知識點09:行政地區(qū)維度設計
第65節(jié) - 知識點10:行政地區(qū)維度構建
第66節(jié) - 知識點11:日期時間維度設計
第67節(jié) - 知識點12:日期時間維度構建
第68節(jié) - 知識點13:服務網點維度設計
第69節(jié) - 知識點14:服務網點維度構建
第70節(jié) - 知識點15:油站維度設計
第71節(jié) - 知識點16:油站維度構建
第72節(jié) - 知識點17:其他維度:組織機構
第73節(jié) - 知識點18:其他維度:倉庫、物流
第74節(jié) - 知識點 01:課程回顧
第75節(jié) - 知識點 02:課程目標
第76節(jié) - 知識點03:分層回顧
第77節(jié) - 知識點04:DWB層的設計
第78節(jié) - 知識點05:事實主題指標劃分
第79節(jié) - 知識點06:呼叫中心事實指標需求分析
第80節(jié) - 知識點07:呼叫中心事實指標構建
第81節(jié) - 知識點08:油站事實指標需求分析
第82節(jié) - 知識點09:油站事實指標構建
第83節(jié) - 知識點10:工單事實指標需求分析
第84節(jié) - 知識點11:工單事實指標構建
第85節(jié) - 知識點12:安裝事實指標需求分析
第86節(jié) - 知識點13:安裝事實指標構建
第87節(jié) - 知識點14:維修事實指標需求分析
第88節(jié) - 知識點15:維修事實指標構建
第89節(jié) - 知識點16:客戶回訪事實指標需求分析
第90節(jié) - 知識點17:客戶回訪事實指標
第91節(jié) - 知識點18:費用事實指標分析及實現(xiàn)(上)
第92節(jié) - 知識點18:費用事實指標分析及實現(xiàn)(下)
第93節(jié) - 知識點19:差旅事實指標分析及實現(xiàn)
第94節(jié) - 知識點20:網點物料事實指標分析及實現(xiàn)
第95節(jié) - 附錄一:在線教育項目回顧
第96節(jié) - 附錄二:一站制造項目回顧
第97節(jié) - 知識點01:課程回顧
第98節(jié) - 知識點02:課程目標
第99節(jié) - 知識點03:數(shù)倉分層回顧
第100節(jié) - 知識點04:ST層的設計
第101節(jié) - 知識點05:服務域:工單主題分析
第102節(jié) - 知識點06:服務域:工單主題實現(xiàn)
第103節(jié) - 知識點07:服務域:油站主題分析
第104節(jié) - 知識點08:服務域:油站主題實現(xiàn)
第105節(jié) - 知識點09:服務域:安裝主題分析實現(xiàn)
第106節(jié) - 知識點10:服務域:維修主題分析實現(xiàn)
第107節(jié) - 知識點11:服務域:回訪主題分析
第108節(jié) - 知識點12:服務域:回訪主題實現(xiàn)
第109節(jié) - 知識點13:服務域:派單主題分析實現(xiàn)
第110節(jié) - 知識點14:服務域:費用主題分析
第111節(jié) - 知識點15:服務域:費用主題實現(xiàn)
第112節(jié) - 知識點16:物料域:主題模型
第113節(jié) - 知識點17:DM層:設計及運營部門主題
第114節(jié) - 知識點01:課程目標
第115節(jié) - 知識點02:任務流調度回顧
第116節(jié) - 知識點03:AirFlow的介紹
第117節(jié) - 知識點04:AirFlow的部署啟動
第118節(jié) - 知識點05:AirFlow的架構組件
第119節(jié) - 知識點06:AirFlow的開發(fā)規(guī)則
第120節(jié) - 知識點07:Shell調度測試
第121節(jié) - 知識點08:依賴調度測試
第122節(jié) - 知識點09:Python調度測試
第123節(jié) - 知識點10:Oracle與MySQL調度方法
第124節(jié) - 知識點11:大數(shù)據(jù)組件調度方法
第125節(jié) - 知識點12:定時調度使用
第126節(jié) - 知識點13:Airflow常用命令
第127節(jié) - 知識點14:郵件告警使用
第128節(jié) - 知識點15:一站制造中的調度
第129節(jié) - 知識點16:回顧:Spark核心概念(上)
第130節(jié) - 知識點16:回顧:Spark核心概念(下)
第131節(jié) - 知識點01:課程目標
第132節(jié) - 知識點02:監(jiān)控需求及常見工具
第133節(jié) - 知識點03:Prometheus的介紹
第134節(jié) - 知識點04:Prometheus的架構
第135節(jié) - 知識點05:Prometheus的部署
第136節(jié) - 知識點06:node_exporter插件
第137節(jié) - 知識點07:mysqld_exportor插件
第138節(jié) - 知識點08:可視化工具Grafana介紹
第139節(jié) - 知識點09:可視化工具Grafana部署
第140節(jié) - 知識點10:Grafana集成Prometheus
第141節(jié) - 知識點11:Grafana集成MySQL監(jiān)控
第142節(jié) - 知識點12:項目總結:背景需求
第143節(jié) - 知識點13:項目總結:數(shù)據(jù)來源
第144節(jié) - 知識點14:項目總結:主題劃分
第145節(jié) - 知識點15:項目總結:技術架構
第146節(jié) - 知識點16:項目總結:數(shù)倉設計
第147節(jié) - 知識點17:項目總結:優(yōu)化及新特性
第148節(jié) - 知識點18:項目總結:問題
第149節(jié) - 知識點19:項目總結:數(shù)據(jù)規(guī)模
第150節(jié) - 知識點20:項目總結:簡歷模板
未完待續(xù),黑馬老師996更新中......
掌握行業(yè)熱門技術
是每個程序員都應該重視的事情
Hive+Spark如此重要,你還沒學?
觀看全集視頻
- 完整配套資料領取方式 -
(視頻+講義+源碼+筆記+資料)
黑馬程序員視頻庫