多头注意力

计算机 · 多组注意力并行

术语解释

英文Multi-Head Attention，用多组不同的权重矩阵同时计算自注意力，每组关注不同的语义方面。就像读文章时一个人同时从语法、语义、情感等多个角度分析，最后把多个视角的结果拼起来。

多视角同时算注意力，最后拼起来