残差连接
计算机 · 给深层网络开一条捷径让信号直通
术语解释
深度网络中信号经过太多层会逐渐减弱(梯度消失)。残差连接在每层旁边加一条"短路"——信号可以跳过这层直接传到后面。ResNet靠这个训练了152层的网络。
怎么理解
残差连接=给深层网络开捷径,信号不会传着传着就没了。
计算机 · 给深层网络开一条捷径让信号直通
深度网络中信号经过太多层会逐渐减弱(梯度消失)。残差连接在每层旁边加一条"短路"——信号可以跳过这层直接传到后面。ResNet靠这个训练了152层的网络。
残差连接=给深层网络开捷径,信号不会传着传着就没了。