梯度消失 / 梯度爆炸

计算机 · 信号越传越弱或越传越强

术语解释

深度网络反向传播时，梯度经过太多层乘法运算——如果每层梯度小于1就越乘越小（消失），大于1就越乘越大（爆炸）。两者都让深层网络无法训练。解决方案：ReLU激活、残差连接、批归一化。

梯度消失爆炸=信号传太多层后要么没了要么炸了。