什么是缺失值补全，缺失值补全的方法有哪些

缺失值补全是指在数据预处理过程中，对数据集中存在的缺失值进行填充或估计，以确保数据集的完整性和分析的准确性。缺失值补全的方法多种多样，以下是一些常见的方法：

1. 删除法：
   • 删除样本：直接删除包含缺失值的样本。
   • 删除变量：当某个变量的缺失值较多时，可以选择删除该变量。
   • 改变权重：对缺失值的样本赋予较低的权重，以减少其对整体分析的影响。
2. 插补法：
   • 均值插补：用变量的均值来填补缺失值。这种方法简单但不能利用相关变量信息。
   • 中位数插补：用变量的中位数来填补缺失值。
   • 众数插补：用变量的众数来填补缺失值。
   • 回归插补：通过建立回归模型，用其他相关变量预测缺失值。
   • K-近邻插补：根据与缺失值最接近的K个样本的平均值或中位数来填补缺失值。
   • 插值插补：适用于时间序列数据，通过插值方法填补缺失值。
   • 多重插补：生成多个不同的数据集，每个数据集中的缺失值用不同的合理替代值替换，然后分别分析这些数据集并组合结果。
3. 基于模型的插补法：
   • EM算法：交替执行期望步和最大化步，计算模型参数的最大似然估计，并将缺失值建模为未观察到的潜变量。
   • 随机森林插补：使用随机森林模型对缺失值进行预测和填补。
   • 深度学习插补：利用卷积神经网络（CNN）等深度学习模型提取深层特征，生成内核以填补缺失值。
4. 业务知识或经验推测填充：
   • 根据业务知识或经验，手动或自动地推测并填充缺失值。
5. 统计量填充法：
   • 使用同一指标的计算结果（如均值、中位数、众数等）填充缺失值。
6. 定制填充法：
   • 使用特定的常量（如-9999）替代缺失值。
7. 历史数据或行政数据插补：
   • 根据历史数据或行政数据，使用趋势、回归模型或直接替换等方法填补缺失值。
8. 专家补全：
   • 依赖领域专家的知识和经验，手动或自动地填补缺失值。

选择合适的缺失值补全方法需要考虑数据的特性、缺失值的比例、以及分析的目的。不同的方法在处理不同类型的数据和不同的缺失机制时效果可能有所不同，因此在实际应用中需要根据具体情况选择最合适的方法。