位置编码

计算机 · 给每个词加位置序号

术语解释

英文Positional Encoding，因为Transformer是并行处理所有词的，本身不知道词的顺序，所以需要额外给每个位置加上位置信息。就像给排队的人发号码牌，让模型知道"我"在句首还是句尾意思完全不同。

Transformer不知道词序，靠位置编码补上