什么是填充掩码（Padding Mask）

1. 核心定义与作用

填充掩码（Padding Mask）是深度学习中处理变长序列数据的核心技术，主要用于标识序列中的有效数据与填充区域。其核心作用是通过屏蔽无效的填充位置（如补零的占位符），确保模型在计算注意力权重、特征提取或损失函数时仅关注有效数据，从而提升模型的鲁棒性和准确性。

2. 应用场景

• 序列对齐：在批量处理文本、语音等变长序列时，需将短序列填充至统一长度，填充掩码标记填充区域。
• 注意力机制：在Transformer的自注意力层中，屏蔽填充位置对注意力权重的计算影响（如将填充位置的注意力分数设为负无穷）。
• 损失计算优化：在训练阶段，忽略填充位置对损失函数的贡献（如通过ignore_index参数过滤填充部分的损失）。

3. 技术实现

• 掩码形式：通常是一个二进制矩阵（0/1或True/False），形状与输入序列相同。例如：
  # 输入序列：[5, 3, 0, 0]（0为填充）
padding_mask = [1, 1, 0, 0] # 1表示有效位置，0表示填充位置
``` ```
• 实现方法：
  • 嵌入层：通过padding_idx参数自动将填充位置的嵌入向量置零。
  • 注意力计算：将填充位置的注意力分数设为极小值（如-1e9），经Softmax后权重趋近于0。
  • 损失函数：在交叉熵损失中设定ignore_index参数，跳过填充位置的误差计算。

4. 与其他掩码的区别

5. 实际意义

• 计算效率：通过屏蔽无效位置，减少冗余计算，提升模型训练和推理速度。
• 模型鲁棒性：避免填充数据干扰特征表示（如防止嵌入层学习无意义的零值）。
• 多任务兼容性：常与其他掩码（如前向掩码）联合使用，解决复杂任务中的信息泄漏问题。

扩展阅读：

• 联合掩码：在Transformer解码器中，需同时使用填充掩码和前向掩码，通过逻辑运算（如mask1 & mask2）叠加效果。
• 动态张量处理：结合tf.keras.layers.Masking 或torch.nn.utils.rnn.pad_sequence ，实现自动填充与掩码生成。