ReLU
计算机 · 负数归零正数不变
术语解释
全称Rectified Linear Unit，公式就是max(0,x)，负数直接变成0，正数原封不动。它是最简单的非线性激活函数，计算快、效果好，现在深度学习里大部分地方都在用它，基本替代了老一代的Sigmoid。
怎么理解
最简单的非线性开关：负的砍掉，正的放行
计算机 · 负数归零正数不变
全称Rectified Linear Unit，公式就是max(0,x)，负数直接变成0，正数原封不动。它是最简单的非线性激活函数，计算快、效果好，现在深度学习里大部分地方都在用它，基本替代了老一代的Sigmoid。
最简单的非线性开关：负的砍掉，正的放行