短程残差连接是指在神经网络中的局部 shortcut 连接,通常出现在一个残差单元(Residual Unit)或残差池组件中。这种连接方式允许输入信号直接传递到后续层,从而构建了一条捷径路径,以解决深层网络中的信息衰减和梯度消失问题。
与之相对的是长程残差连接,它涉及更远距离的模块之间的连接,例如 RefineNet 模块和 ResNet 块之间的连接。通过这些长程连接,梯度可以直接传播,有助于提高训练效率和模型性能。
短程残差连接主要用于局部特征的快速传递,而长程残差连接则用于跨模块的信息传递。两者共同作用,提升了深度神经网络的训练效果和整体性能。