更新時(shí)間:2021年04月30日15時(shí)19分 來源:傳智教育 瀏覽次數(shù):
隨著學(xué)習(xí)的積累從弱到強(qiáng),簡而言之:每新加入一個(gè)弱學(xué)習(xí)器,整體能力就會(huì)得到提升。代表算法:Adaboost,GBDT,XGBoost。
(1)訓(xùn)練第一個(gè)學(xué)習(xí)器
(2)調(diào)整數(shù)據(jù)分布
(3)訓(xùn)練第二個(gè)學(xué)習(xí)器
(4)再次調(diào)整數(shù)據(jù)分布
(5)依次訓(xùn)練學(xué)習(xí)器,調(diào)整數(shù)據(jù)分布
(6)整體過程實(shí)現(xiàn)
關(guān)鍵點(diǎn):
如何確認(rèn)投票權(quán)重?
如何調(diào)整數(shù)據(jù)分布?
AdaBoost的構(gòu)造過程小結(jié)
區(qū)別一:數(shù)據(jù)方面
Bagging:對(duì)數(shù)據(jù)進(jìn)行采樣訓(xùn)練;
Boosting:根據(jù)前一輪學(xué)習(xí)結(jié)果調(diào)整數(shù)據(jù)的重要性。
區(qū)別二:投票方面
Bagging:所有學(xué)習(xí)器平權(quán)投票;
Boosting:對(duì)學(xué)習(xí)器進(jìn)行加權(quán)投票。
區(qū)別三:學(xué)習(xí)順序
Bagging的學(xué)習(xí)是并行的,每個(gè)學(xué)習(xí)器沒有依賴關(guān)系;
Boosting學(xué)習(xí)是串行,學(xué)習(xí)有先后順序。
區(qū)別四:主要作用
Bagging主要用于提高泛化性能(解決過擬合,也可以說降低方差)
Boosting主要用于提高訓(xùn)練精度 (解決欠擬合,也可以說降低偏差)
猜你喜歡:
北京校區(qū)