什么是跳跃连接（Skip Connection）
跳跃连接（Skip Connection），也被称为残差连接（Residual Connection），是深度神经网络架构中的一种重要组件。它的基本思想是在网络的某些层中，将输入直接连接到输出，以允许信息在不同层之间跳跃传递。
跳跃连接的主要目的是解决深度神经网络中的梯度消失问题以及加速训练过程。深度神经网络通常会包含许多层，当反向传播梯度信号时，梯度可能会变得非常小，导致网络难以训练。跳跃连接通过将输入信息直接传递到后续层次，允许梯度更容易地反向传播。这种直接传递有助于保持梯度的稳定性，使网络更容易训练。
跳跃连接的主要作用和特点
跳跃连接的主要目的是解决深度神经网络中的梯度消失问题以及加速训练过程。深度神经网络通常会包含许多层，当反向传播梯度信号时，梯度可能会变得非常小，导致网络难以训练。跳跃连接通过将输入信息直接传递到后续层次，允许梯度更容易地反向传播。这种直接传递有助于保持梯度的稳定性，使网络更容易训练。
跳跃连接允许网络的深层部分直接获取浅层部分的特征，这有助于深层网络更好地理解原始输入的信息，并保留浅层特征的细节信息。例如，在U-Net架构中，跳跃连接是核心特点之一，它们允许解码器直接获取编码器部分的中间特征，并将其与当前解码阶段的特征相结合。
通过跳跃连接，网络可以更容易地学习到恒等映射（identity mapping），即网络的输出接近于输入。如果目标函数接近恒等函数，跳跃连接可以显著加快训练速度。此外，即使某些层尚未开始学习，网络也能通过跳跃连接取得进展。
跳跃连接可以在神经网络中以多种方式实现，常见的有加法和串联两种方式。加法方式如残差网络（ResNets），通过将输入直接添加到层输出上；串联方式如DenseNet，通过将不同层的特征图串联起来。
跳跃连接的应用场景
跳跃连接常见于深度残差神经网络（ResNet）中，其中每个残差块都包含跳跃连接。在 ResNet 中，每个残差块的输出与输入进行加法操作，然后经过激活函数，如 ReLU。这允许模型学习残差（差异），而不是直接学习整个映射，从而减轻了训练难度。
U-Net是一种用于图像分割的网络架构，其核心特点之一就是跳跃连接。这些连接允许解码器直接获取编码器部分的中间特征，并将其与当前解码阶段的特征相结合。
在图神经网络中，跳跃连接也被用于增强特征传播和稳定性。例如，DeeperGCN将归一化和跳跃连接整合到图神经网络中，设计了DeeperGCN，使得网络在层数增加到100+层时仍能有效工作。
DenseNet通过将不同层的特征图串联起来，实现了特征的重用，从而提高了网络的效率和性能。
总结
跳跃连接是神经网络中一种重要的结构设计，它通过直接连接网络的不同层，解决了梯度消失和梯度爆炸问题，增强了特征表示能力，并加快了训练速度。这种连接方式在多种神经网络架构中得到了广泛应用，并取得了显著的效果。