适配器微调（Adapter Tuning）是一种参数高效微调（Parameter-Efficient Fine-Tuning,PEFT）方法，旨在通过在预训练模型中插入轻量级的适配器模块来实现对下游任务的适应。这种方法的核心思想是在预训练模型的中间层或特定位置插入适配器层（Adapter Layer），这些适配器层包含少量可训练的权重，而模型的原始参数保持不变。
适配器微调的主要步骤包括在预训练模型的中间层添加适配器模块，并对其权重进行恒等初始化，这样训练开始时模型性能和原始模型非常接近。适配器模块通常由简单的前馈神经网络组成，其输入来自任务独立且冻结的多层感知器（MLP）模块和自注意力模块。这些适配器模块通过学习任务相关的表示来适应下游任务，但其输入仍然是从任务独立且冻结的层中获得的。
适配器微调的优势在于其高效性，相比于全参数微调，它只需要微调少量的参数，从而减少了计算资源的消耗。此外，适配器微调还具有较好的鲁棒性和泛化能力，在少样本和跨语言场景下表现尤为突出。然而，适配器微调也存在一些局限性，例如共享和重用这些模块可能会面临重大障碍。
适配器微调是一种有效的增量微调方法，通过在预训练模型中插入轻量级的适配器模块，可以在保持模型性能的同时显著减少可训练参数的数量，从而提高模型的扩展性和鲁棒性
声明：文章来源于网络，如有侵权请联系删除！