恒等初始化（Identity Initialization）是一种在神经网络中使用的初始化方法，其核心思想是将神经网络的权重层初始化为一个单位矩阵。这种方法的目的是使得网络层的输出值与输入值相等，从而保持信号的稳定传播和梯度下降的行为。
具体来说，恒等初始化通过将神经网络的权重矩阵初始化为单位矩阵来实现。单位矩阵是一个对角线上元素全为1，其余元素全为0的矩阵。这种初始化方法在理论上具有良好的性质，被称为动力等距（Dynamical Isometry），最早由Saxe等人在2014年提出。动力等距描述了当输入输出的雅可比矩阵的奇异值分布全部在1附近时，网络的动态行为是稳定的。
恒等初始化的优点在于它能够确保神经网络在各层维度相等的情况下，保持信号的稳定传播和梯度下降的行为。然而，这种方法建立在各层的维度相等的基础上，因此在实际应用中需要特别注意网络结构的设计。
恒等初始化是一种通过将神经网络的权重层初始化为单位矩阵来保持信号稳定性和梯度下降行为的初始化方法，它在理论上具有良好的动力等距性质
声明：文章来源于网络，如有侵权请联系删除！