量化因子数据处理入门：原始数据清洗与常见缺陷修复

一、为什么原始因子数据必须经过处理

在量化研究中，有一句被广泛引用的经验法则：“garbage in, garbage out”，即“垃圾进，垃圾出”。它的含义非常直接：如果输入模型或回测系统的原始数据本身存在大量缺陷，那么无论后续因子构建、模型训练或参数优化做得多么精细，最终得到的研究结论和策略表现都可能失去参考价值。

因子数据通常来自行情、财务报表、公告、资金流向、宏观指标等多种数据源。不同来源的数据在采集、传输、存储和加工过程中，难免出现缺失、异常、口径不一致等问题。尤其是在处理横截面数据时，同一时间点上不同标的的数据质量可能存在显著差异；而在处理时间序列数据时，历史区间的数据缺失和口径变化也会对因子稳定性造成干扰。

因此，在进入因子标准化、中性化或去极值等常规流程之前，必须首先完成原始数据的检查和清洗工作。这个阶段的目标不是追求数据的“完美”，而是尽可能识别出会影响统计推断和策略决策的缺陷，并采用合理、可复现的规则进行处理。

从实践角度看，原始因子数据最常见的问题可以归纳为三类：

1. 空值问题，即数据中出现的 NaN 或缺失记录；
2. 负值问题，即因子取值出现了业务逻辑上不应为负的情况；
3. 极端值问题，即个别样本的取值远偏离整体分布，可能对回归、排序或加权产生过度影响。

下面分别说明这三类问题的成因与处理方法。

---

二、空值问题：不只是“删掉就行”

2.1 空值的直观影响

在多数数据处理框架中，空值通常以 NaN 的形式存在。它可能出现在某一个因子列中，也可能出现在整行记录中。空值的存在会直接影响后续计算：

• 在计算均值、方差、相关系数等统计量时，NaN 会传播，导致整列结果变为空值；
• 在回归或机器学习模型训练时，包含 NaN 的样本可能被直接丢弃，造成样本量不足；
• 在排序选股、分层回测等场景中，NaN 可能打乱分组逻辑，导致分组数量不一致或组合构建失败；
• 在时间序列分析中，NaN 会破坏连续性，影响滚动计算和滞后因子的生成。

因此，空值处理绝不是简单“删除含有 NaN 的行”就可以完成，需要结合因子的业务含义和研究目标来选择具体策略。

2.2 空值出现的常见原因

从实践来看，因子数据出现空值主要有三类来源。

1. 原始数据缺失

在数据采集和传输过程中，可能由于数据源未覆盖某段时间、某些标的，或者采集程序出现异常，导致部分记录没有写入数据库。这种情况在早期数据中尤其常见。虽然当前多数数据服务已经做了大量清洗工作，但研究者仍然需要对使用的数据质量保持警惕。

对于这类缺失，处理方式通常需要结合缺失比例来判断：

• 如果某个因子在全部样本中缺失比例很低，例如低于 1% 或 2%，可以考虑直接剔除对应样本；
• 如果缺失比例较高，例如超过 30%，则需要谨慎评估该因子是否还适合继续使用；
• 如果缺失具有明显的时段性或行业性，可能需要进一步检查是否存在数据口径调整或覆盖范围变化。

2. 业务逻辑导致的自然缺失

有些缺失并不是数据错误，而是业务本身决定了该字段在某些标的上不存在。例如，在财务报表中，某些会计科目并非所有公司都会产生。商誉就是一个典型例子：没有发生过并购并形成商誉的公司，其商誉科目可能为空。

这时如果简单使用均值填充，就会错误地给这些公司增加一项资产，可能影响资产规模相关因子的计算。更合理的做法是根据业务含义使用零值填充，或者将该字段拆分为“是否存在该科目”和“科目数值”两个变量。

这种处理方式的关键在于：不能把缺失值统一当作“未知”来看待，而要区分“没有数据”和“该数据本身就不存在”。

3. 因子计算逻辑造成的缺失

在构建衍生因子时，某些计算规则也会导致空值。例如，计算“过去三年净利润平均增长率”，如果一家公司只有近两年的有效数据，那么按照严格规则计算，该公司该因子的值就无法得到。

此时可以根据策略逻辑做出选择：

• 如果因子要求严格的时间窗口一致性，那么应当剔除不满足条件的样本；
• 如果策略更关注趋势方向而非精确统计量，也可以使用可获得的两年数据进行填充；
• 还可以设计一个最小数据要求，例如至少需要 2 年数据才计算，否则置空。

无论如何选择，都需要在策略研究文档中明确记录处理规则，避免在实盘或后续复现时出现不一致。

---

三、负值问题：结合业务含义判断

3.1 负值并不总是错误

在进行因子清洗时，负值的出现并不一定意味着数据异常。例如，净利润增长率、动量因子、价格变动率等指标天然可以为负。是否需要对负值进行处理，取决于因子本身的经济含义和后续使用方式。

3.2 典型场景：市盈率排序中的负值影响

一个常见的例子是市盈率因子。通常认为，市盈率较低的股票可能更具投资价值。因此，部分研究者会按照市盈率从小到大排序，选择排在前面的股票构建组合。

但这里存在一个重要问题：如果某些公司净利润为负，市盈率也会为负。按照数值排序时，市盈率为负的股票会排在所有正值之前，甚至可能排在接近零的位置。这会导致组合选入大量亏损公司，与“低估值”策略的初衷相悖。

因此，在处理市盈率这类因子时，需要对负值进行特殊考虑。常见做法包括：

• 将负市盈率统一置为空值，只在正市盈率样本中进行排序；
• 单独将负市盈率样本标记为“亏损组”，并单独处理；
• 使用市销率、市净率等其他估值指标进行补充，避免只依赖单一因子。

同样的逻辑也适用于其他可能出现业务冲突的因子。处理负值的关键不是“删除负值”，而是明确负值在业务语境下是否具有可比性，以及负值参与排序或回归时是否会造成逻辑偏差。

3.3 负值处理的通用原则

在实际操作中，可以遵循以下步骤：

1. 检查因子取值分布，统计负值占比；
2. 判断该因子在业务上是否允许负值；
3. 如果不允许，则进一步判断负值来源是数据错误、计算口径问题还是业务异常；
4. 根据判断结果采用删除、置空、截断或分组的策略。

这种方式可以避免机械地对所有负值做统一处理，减少误删有效信息的可能。

---

四、极端值问题：识别与抑制

4.1 极端值对因子分析的干扰

极端值是指分布中远离大多数样本的取值。在量化因子分析中，极端值会造成多重影响：

• 拉高或拉低因子均值，使整体分布偏移；
• 影响回归系数估计，使结果不稳定；
• 在排序选股中过度集中在少数极端样本上；
• 在分位数分组时造成分组不均衡。

因此，在完成空值和负值处理后，通常需要对极端值进行识别和抑制，也就是常说的“去极值”。

4.2 常见识别方法

去极值的方法主要包括固定阈值法和分布法两类：

• 固定阈值法：根据绝对数值设定上下限，例如市盈率超过 200 倍时认为异常；
• 分位数法：根据横截面分布设定边界，例如将超过 99% 分位数和低于 1% 分位数的样本视为极端值；
• 标准差法：计算均值与标准差，将偏离均值一定倍数标准差以外的值视为异常；
• MAD 法：使用绝对中位差，能够减少极端值对标准差估计的干扰，结果更稳健。

这些方法可以单独使用，也可以组合。关键在于选择的方法要与因子分布特征相匹配，而不是追求某一种方法的绝对正确。

4.3 常见抑制方式

在识别出极端值后，一般不会直接删除样本，而是采用如下方式抑制其影响：

• 截断：将大于上限的值替换为上限值，将小于下限的值替换为下限值；
• 缩尾：与截断类似，但更强调按比例处理，例如将最高 1% 的样本统一压缩到 99% 分位数；
• 置空：将极端值设为 NaN，后续再根据缺失处理规则处理；
• 分箱：将连续值转换为区间等级，减少单个极值的影响。

在实际策略研究中，截断和缩尾使用较多，因为它们保留了样本数量，同时降低了极端值的干扰。

---

五、原始数据处理的工程化建议

为了提升因子数据处理的可维护性和可复现性，建议在工程实现中注意以下方面：

5.1 分层设计数据处理流程

将数据检查、空值处理、负值处理、去极值处理拆分为独立函数或模块。每个模块只处理一种问题，便于测试和调整。例如：

def check_missing(df, factor_cols):
    """统计各因子缺失比例"""
    missing_ratio = df[factor_cols].isna().mean().sort_values(ascending=False)
    return missing_ratio
def fill_by_business_rule(df, col, fill_value=0.0):
    """根据业务规则填充空值"""
    df[col] = df[col].fillna(fill_value)
    return df
def clip_by_quantile(df, col, lower_q=0.01, upper_q=0.99):
    """按分位数缩尾处理"""
    lower = df[col].quantile(lower_q)
    upper = df[col].quantile(upper_q)
    df[col] = df[col].clip(lower, upper)
    return df

这种模块化编写方式不仅提高代码清晰度，也方便在后续因子研究中快速切换不同处理参数。

5.2 记录处理规则与参数

每一步数据处理都应记录所用的规则、阈值和填充方式。对于需要人工判断的业务逻辑，例如负市盈率的处理方式，应写入文档或注释，避免后续复现时产生偏差。

5.3 建议增加数据质量报告

在处理原始因子数据之前，可以通过一份简易的质量报告快速了解数据状况，包括：

• 各因子的缺失率；
• 不同标的的覆盖时间范围；
• 负值数量与占比；
• 极端值的样本数量与分布。

该报告有助于判断哪些因子可用，哪些需要进一步清洗，哪些可能已经不适合进入当前研究。

---

六、小结

原始因子数据处理是量化研究的基础工作，其质量直接决定后续因子有效性分析和策略回测的可信度。处理过程中需要重点关注空值、负值和极端值三类问题，并结合业务逻辑选择适当的处理方法，而不是机械套用固定规则。

只有在原始数据清洗充分的前提下，去极值、中性化和标准化等后续流程才能真正发挥作用，为多因子模型构建和策略研究提供可靠的数据基础。