层归一化

计算机 · 按单个样本统一尺度

术语解释

英文Layer Normalization，跟批归一化类似，但不是跨批次标准化，而是对每个样本自身的所有特征做标准化。Transformer架构里标配的就是层归一化，因为它不依赖批次大小，对序列数据更友好。

对单个样本内部做标准化，Transformer标配