一、缺失值处理：填补数据空洞的艺术

缺失值是数据集中最常见的质量问题，可能源于数据采集设备故障、用户未填写或系统处理异常。针对不同场景，需选择差异化的处理策略：

1.1 删除策略

当缺失值比例超过30%或关键字段缺失时，直接删除记录是高效选择。使用Pandas的dropna()函数可快速实现：

import pandas as pd
df = pd.DataFrame({'A': [1, 2, None], 'B': [4, None, 6]})
clean_df = df.dropna(subset=['A'])  # 仅删除A列缺失的行

1.2 填充策略

对于结构化数据，可采用以下填充方法：

• 统计值填充：均值/中位数适用于数值型数据，众数适用于类别型数据

  df['A'].fillna(df['A'].mean(), inplace=True)  # 均值填充

• 时间序列填充：使用前向填充（ffill）或后向填充（bfill）

  df['B'].fillna(method='ffill', inplace=True)  # 前向填充

• 模型预测填充：通过KNN、随机森林等算法预测缺失值，适用于复杂关联场景

1.3 高级填充技术

• 多重插补：通过多次随机采样生成多个完整数据集，降低填充偏差
• MICE算法：基于链式方程的多变量插补方法，适用于高维数据

二、异常值检测：识别数据中的离群点

异常值可能由数据录入错误、设备故障或真实极端事件导致，需结合业务场景选择检测方法：

2.1 统计方法

• Z-score检测：假设数据服从正态分布，超过3倍标准差的值视为异常

  from scipy import stats
  z_scores = stats.zscore(df['value'])
  outliers = df[abs(z_scores) > 3]

• IQR法则：基于四分位距的稳健检测方法，适用于非正态分布

  Q1 = df['value'].quantile(0.25)
  Q3 = df['value'].quantile(0.75)
  IQR = Q3 - Q1
  outliers = df[(df['value'] < (Q1 - 1.5*IQR)) | (df['value'] > (Q3 + 1.5*IQR))]

2.2 机器学习方法

• 孤立森林：通过随机划分构建树结构，快速识别低密度区域异常
• DBSCAN聚类：将密度稀疏区域的点标记为异常，适用于高维数据

2.3 处理策略

• 修正：对已知错误值进行人工修正
• 删除：当异常值比例超过5%时考虑删除
• 分箱：将连续值离散化，降低异常值影响

三、数据标准化：消除量纲差异

标准化使不同特征具有可比性，是距离计算类算法（如KNN、SVM）的必备步骤：

3.1 Z-score标准化

将数据转换为均值为0、标准差为1的分布：

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
scaled_data = scaler.fit_transform(df[['feature']])

3.2 最小-最大缩放

将数据线性映射到[0,1]区间，保留原始分布形状：

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
scaled_data = scaler.fit_transform(df[['feature']])

3.3 特殊场景处理

• 稀疏数据：使用MaxAbsScaler避免破坏稀疏性
• 文本数据：采用TF-IDF或Word2Vec进行向量化

四、重复值处理：确保数据唯一性

重复记录可能源于数据集成或采集系统错误，需根据业务需求处理：

4.1 精确去重

使用drop_duplicates()删除完全相同的记录：

df.drop_duplicates(inplace=True)  # 默认比较所有列
df.drop_duplicates(subset=['key'], inplace=True)  # 基于特定列去重

4.2 模糊去重

对于近似重复记录（如地址信息），可采用：

• 字符串相似度：Levenshtein距离、Jaccard相似度
• 聚类方法：DBSCAN聚类后合并相似记录

五、数据类型转换：适配计算需求

正确的数据类型可提升存储效率与计算性能：

5.1 日期时间转换

将字符串转换为datetime类型，支持时间运算：

df['date'] = pd.to_datetime(df['date_str'], format='%Y-%m-%d')

5.2 类别型编码

将文本类别转换为数值：

• Label Encoding：有序类别（如学历等级）
• One-Hot Encoding：无序类别（如性别）

  from sklearn.preprocessing import OneHotEncoder
  encoder = OneHotEncoder()
  encoded_data = encoder.fit_transform(df[['category']]).toarray()

六、文本清洗：提升文本质量

文本数据需经过特殊处理才能用于分析：

6.1 标准化处理

• 大小写转换：统一转换为小写或大写
• 去除空格：strip()方法清理首尾空格
• 特殊字符处理：使用正则表达式替换非字母数字字符

6.2 高级清洗技术

• 词干提取：将单词还原为词根形式（如”running”→”run”）
• 停用词过滤：移除”的”、”是”等无意义词汇
• 拼写纠正：使用TextBlob等库修正拼写错误

七、自动化清洗流程构建

对于大规模数据集，建议构建自动化清洗管道：

from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
# 定义数值型与类别型处理流程
numeric_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())])
categorical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('onehot', OneHotEncoder())])
# 组合处理流程
preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('cat', categorical_transformer, categorical_features)])
# 应用清洗流程
clean_data = preprocessor.fit_transform(raw_data)

八、行业最佳实践

1. 可视化探索：通过箱线图、直方图等可视化工具识别数据问题
2. 分层处理：对不同数据子集采用差异化清洗策略
3. 版本控制：保留原始数据副本，记录清洗操作日志
4. 质量评估：计算清洗前后数据的完整性、一致性指标

数据清洗是数据工程的核心能力，通过系统化的方法论与工具链，可显著提升数据质量，为后续的机器学习建模与业务分析奠定坚实基础。开发者应根据具体场景选择合适的技术组合，构建可复用的数据清洗流程，实现数据价值的最大化释放。