自注意力/Self-Attention

计算机 · 自己跟自己算相关性

术语解释

序列内部的每个元素都跟其他所有元素计算关联权重。就像读句子时每个词都会"看看"其他词来决定自己该关注谁，"它"字会重点看前面的名词来确定指代谁。这是Transformer的核心机制。

怎么理解

句子里的每个词互相看，算出谁跟谁最相关

在交互版里浏览「计算机」的全部词条 →