教育行業(yè)A股IPO第一股（股票代碼 003032）

全國(guó)咨詢/投訴熱線：400-618-4000

什么是梯度消失或爆炸？

更新時(shí)間:2022年03月03日13時(shí)59分 來(lái)源:傳智教育 瀏覽次數(shù):

什么是梯度消失或爆炸

根據(jù)反向傳播算法和鏈?zhǔn)椒▌t, 梯度的計(jì)算可以簡(jiǎn)化為以下公式:

其中sigmoid的導(dǎo)數(shù)值域是固定的, 在[0, 0.25]之間, 而一旦公式中的w也小于1, 那么通過(guò)這樣的公式連乘后, 最終的梯度就會(huì)變得非常非常小, 這種現(xiàn)象稱(chēng)作梯度消失. 反之, 如果我們?nèi)藶榈脑龃體的值, 使其大于1, 那么連乘夠就可能造成梯度過(guò)大, 稱(chēng)作梯度爆炸。

梯度消失或爆炸的危害:

如果在訓(xùn)練過(guò)程中發(fā)生了梯度消失，權(quán)重?zé)o法被更新，最終導(dǎo)致訓(xùn)練失敗; 梯度爆炸所帶來(lái)的梯度過(guò)大，大幅度更新網(wǎng)絡(luò)參數(shù)，在極端情況下，結(jié)果會(huì)溢出(NaN值)。



猜你喜歡：

Fast算法原理：fastica算法步驟詳解

Shi-Tomasi角點(diǎn)檢測(cè)原理和實(shí)現(xiàn)代碼

人工智能的起源和人工智能發(fā)展歷程

英偉達(dá)發(fā)布Orin系統(tǒng)芯片助力AI加速

傳智教育Ai人工智能培訓(xùn)

0 分享到：
和我們?cè)诰€交談！