掩码

计算机 · 遮住不让看

术语解释

训练时隐藏部分输入，防止模型"偷看答案"。BERT做掩码语言模型时遮住15%的词让模型猜；Transformer的解码器用掩码遮住未来时刻的信息，防止模型看到还没生成的内容。本质就是盖住一部分。

掩码=盖住一部分不让看，防止偷看答案。