什么是全局注意力（Global Attention）

全局注意力（Global Attention）是一种在深度学习和自然语言处理中广泛应用的注意力机制，其核心思想是通过考虑输入序列的所有部分来计算权重，从而生成全局上下文向量。这种机制能够捕捉输入数据的整体特征和结构，适用于需要全局理解的任务。

1. 定义与基本原理
   全局注意力机制会同时考虑输入数据的所有部分，而不会对输入进行局部限制。这意味着模型在任何时候都能够访问到输入数据的全局信息，从而更好地捕捉数据中的整体特征和结构。例如，在机器翻译任务中，全局注意力机制可以将源句子的所有单词都纳入考虑范围，从而为每个目标单词生成一个加权的上下文向量。
2. 计算过程
   在全局注意力机制中，通常会利用编码器的所有隐藏状态来计算上下文向量。具体来说，每个输入向量与当前时间步的隐藏状态通过加权求和的方式生成上下文向量。例如，在神经机器翻译中，全局注意力模型会将所有源语言单词的信息整合到目标单词的预测中，从而提高翻译质量。
3. 应用场景
   • 自然语言处理（NLP） ：全局注意力机制在文本分类、机器翻译等任务中表现出色。例如，在机器翻译中，它能够通过整合整个源句子的信息来生成更准确的目标句子。
   • 计算机视觉：在图像处理任务中，全局注意力机制可以捕捉图像中的全局依赖关系，从而提高模型的泛化能力。
   • 多模态任务：在处理图像和文本融合的任务中，全局注意力机制通过整合多模态数据的全局信息来提升模型性能。
4. 优势
   • 全局信息捕获：全局注意力机制能够捕捉输入序列中所有部分之间的依赖关系，从而生成更全面的上下文向量。
   • 减少信息损失：相比于局部注意力机制，全局注意力机制减少了因局部窗口限制而导致的信息丢失。
   • 适应性强：由于其能够处理整个输入序列，因此在不同长度和类型的输入序列上表现良好。
5. 挑战与优化
   尽管全局注意力机制具有显著的优势，但其计算复杂度较高，尤其是在处理长序列时。因此，研究者提出了多种优化方法，例如结合滑动窗口注意力，或者通过引入残差连接和多层感知机来增强模型性能。
6. 实际案例
   在YOLOv11的目标检测改进中，全局注意力机制被用于减少信息损失并放大全局交互表示，从而提升了模型在图像分类任务中的性能。此外，在皮肤癌图像识别中，全局注意力机制通过通道和空间注意力子模块增强了特征交互。

全局注意力机制是一种强大的工具，能够在多种任务中捕捉输入数据的整体特征和结构。然而，其计算复杂度较高，需要结合具体任务需求进行优化设计。