教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000

boosting集成原理:什么是boosting?

更新時(shí)間:2021年04月30日15時(shí)19分 來源:傳智教育 瀏覽次數(shù):

什么是boosting?

boosting實(shí)現(xiàn)過程01

隨著學(xué)習(xí)的積累從弱到強(qiáng),簡而言之:每新加入一個(gè)弱學(xué)習(xí)器,整體能力就會(huì)得到提升。代表算法:Adaboost,GBDT,XGBoost。


實(shí)現(xiàn)過程

(1)訓(xùn)練第一個(gè)學(xué)習(xí)器

boosting實(shí)現(xiàn)過程02

(2)調(diào)整數(shù)據(jù)分布

boosting實(shí)現(xiàn)過程03

(3)訓(xùn)練第二個(gè)學(xué)習(xí)器

boosting實(shí)現(xiàn)過程04

(4)再次調(diào)整數(shù)據(jù)分布

boosting實(shí)現(xiàn)過程05

(5)依次訓(xùn)練學(xué)習(xí)器,調(diào)整數(shù)據(jù)分布

boosting實(shí)現(xiàn)過程06

(6)整體過程實(shí)現(xiàn)

boosting實(shí)現(xiàn)過程07

關(guān)鍵點(diǎn):

如何確認(rèn)投票權(quán)重?

如何調(diào)整數(shù)據(jù)分布?

boosting實(shí)現(xiàn)過程08

AdaBoost的構(gòu)造過程小結(jié)

boosting實(shí)現(xiàn)過程09

bagging集成與boosting集成的區(qū)別:


區(qū)別一:數(shù)據(jù)方面

Bagging:對(duì)數(shù)據(jù)進(jìn)行采樣訓(xùn)練;

Boosting:根據(jù)前一輪學(xué)習(xí)結(jié)果調(diào)整數(shù)據(jù)的重要性。


區(qū)別二:投票方面

Bagging:所有學(xué)習(xí)器平權(quán)投票;

Boosting:對(duì)學(xué)習(xí)器進(jìn)行加權(quán)投票。


區(qū)別三:學(xué)習(xí)順序

Bagging的學(xué)習(xí)是并行的,每個(gè)學(xué)習(xí)器沒有依賴關(guān)系;

Boosting學(xué)習(xí)是串行,學(xué)習(xí)有先后順序。


區(qū)別四:主要作用

Bagging主要用于提高泛化性能(解決過擬合,也可以說降低方差)

Boosting主要用于提高訓(xùn)練精度 (解決欠擬合,也可以說降低偏差)

boosting實(shí)現(xiàn)過程10


猜你喜歡:

語言模型-BERT:bert算法介紹

人工智能要學(xué)python嗎?人工智能要學(xué)習(xí)哪些知識(shí)?

傳智教育人工智能培訓(xùn)課程

0 分享到:
和我們?cè)诰€交談!