机器学习 | 入门（三）—— 决策树

一、决策树的核心逻辑与直观理解

决策树（Decision Tree）是一种基于树结构进行决策的监督学习算法，其核心思想是通过递归划分特征空间，构建一棵”树状”模型，最终通过从根节点到叶节点的路径完成分类或回归任务。例如，在判断”是否适合户外运动”的场景中，决策树可能依次检查”天气是否晴朗？””温度是否适宜？””风力是否过大？”等条件，最终给出”适合”或”不适合”的结论。

1.1 决策树的直观优势

• 可解释性强：决策过程以流程图形式呈现，每个节点的判断条件清晰可见，符合人类决策逻辑。
• 无需特征缩放：与SVM或神经网络不同，决策树对特征的尺度不敏感，简化了数据预处理步骤。
• 处理混合数据类型：可同时处理数值型（如温度）和类别型（如天气）特征，无需额外编码。

1.2 决策树的典型应用场景

• 分类问题：如客户流失预测、垃圾邮件分类。
• 回归问题：如房价预测、销售额估计。
• 多输出任务：可同时预测多个目标变量（如同时预测温度和湿度）。

二、决策树的构建：从根到叶的完整流程

决策树的构建过程本质是一个”贪心算法”，通过局部最优选择实现全局近似最优。其核心步骤包括特征选择、节点分裂和树的剪枝。

2.1 特征选择：如何挑选最佳分裂点？

特征选择的目标是找到能最大化区分不同类别的特征，常用指标包括：

• 信息增益（ID3算法）：基于信息熵的减少量，公式为：
  [
  \text{InfoGain}(D, a) = \text{Ent}(D) - \sum{v=1}^V \frac{|D^v|}{|D|} \text{Ent}(D^v)
  ]
  其中，( \text{Ent}(D) = -\sum{k=1}^K p_k \log_2 p_k ) 表示数据集 ( D ) 的信息熵。

• 增益率（C4.5算法）：解决信息增益偏向多值特征的问题，通过分裂信息（Split Information）进行修正：
  [
  \text{GainRatio}(D, a) = \frac{\text{InfoGain}(D, a)}{\text{SplitInfo}}(D, a)
  ]

• 基尼指数（CART算法）：适用于分类和回归，分类任务中基尼指数定义为：
  [
  \text{Gini}(D) = 1 - \sum_{k=1}^K p_k^2
  ]
  选择使基尼指数最小的特征和分裂点。

代码示例（信息增益计算）：

import numpy as np
from collections import Counter
def entropy(y):
    counts = Counter(y)
    probs = [count / len(y) for count in counts.values()]
    return -sum(p * np.log2(p) for p in probs if p > 0)
def information_gain(X, y, feature_idx):
    total_entropy = entropy(y)
    values = set(X[:, feature_idx])
    weighted_entropy = 0
    for v in values:
        subset_y = y[X[:, feature_idx] == v]
        weighted_entropy += (len(subset_y) / len(y)) * entropy(subset_y)
    return total_entropy - weighted_entropy

2.2 节点分裂与递归构建

从根节点开始，对每个候选特征计算分裂指标，选择最优特征和分裂点生成子节点，然后对子节点递归执行相同操作，直到满足停止条件（如达到最大深度、节点样本数小于阈值或信息增益小于阈值）。

2.3 树的剪枝：防止过拟合的关键

决策树容易过拟合（如生成深度过大、对训练数据”记忆”过强的树），剪枝是解决这一问题的核心方法：

• 预剪枝（Pre-pruning）：在构建过程中提前停止分裂，如设置最大深度、最小样本分裂数等。
• 后剪枝（Post-pruning）：先生成完整树，再自底向上删除对泛化性能无提升的子树。常用方法包括代价复杂度剪枝（CCP）和减少误差剪枝（REP）。

剪枝效果对比：
| 剪枝类型 | 优点 | 缺点 |
|—————|———|———|
| 预剪枝 | 计算效率高，避免生成复杂树 | 可能提前终止，导致欠拟合 |
| 后剪枝 | 泛化性能通常更好 | 计算成本较高，需生成完整树 |

三、决策树的实践：从算法到代码实现

3.1 使用Scikit-learn构建决策树

Scikit-learn提供了DecisionTreeClassifier（分类）和DecisionTreeRegressor（回归）两类实现，支持CART算法。

代码示例（分类任务）：

from sklearn.tree import DecisionTreeClassifier, export_text, plot_tree
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
# 加载数据
iris = load_iris()
X, y = iris.data, iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
# 训练决策树
clf = DecisionTreeClassifier(criterion='gini', max_depth=3, random_state=42)
clf.fit(X_train, y_train)
# 评估与可视化
print("Test accuracy:", clf.score(X_test, y_test))
print("Decision rules:\n", export_text(clf, feature_names=iris.feature_names))
# 绘制决策树（需matplotlib）
# plot_tree(clf, feature_names=iris.feature_names, class_names=iris.target_names)

3.2 关键参数调优建议

• criterion：分类任务可选'gini'（默认）或'entropy'，回归任务固定为'squared_error'。
• max_depth：控制树的最大深度，防止过拟合，建议通过交叉验证选择。
• min_samples_split：节点分裂所需的最小样本数，值越大树越简单。
• min_samples_leaf：叶节点所需的最小样本数，避免叶节点样本过少导致方差大。
• max_features：寻找最佳分裂时考虑的特征数量，可选'auto'、'sqrt'或具体数值。

四、决策树的优缺点与改进方向

4.1 核心优势

• 计算效率高：训练和预测时间复杂度均为 ( O(n \log n) )（最优情况下）。
• 适应性强：对缺失值、异常值和特征相关性不敏感。
• 可视化友好：决策规则可直接解释，适合需要透明度的场景（如医疗、金融）。

4.2 局限性

• 不稳定：数据微小变化可能导致树结构大幅改变（可通过集成方法如随机森林缓解）。
• 偏向多值特征：信息增益可能偏好取值多的特征（增益率或基尼指数可部分解决）。
• 难以处理特征交互：单棵决策树通常无法捕捉特征间的复杂交互关系。

4.3 改进方向

• 集成学习：通过随机森林（Random Forest）或梯度提升树（GBDT）提升性能和稳定性。
• 特征工程：对类别型特征进行独热编码或目标编码，对数值型特征进行分箱。
• 超参数优化：使用网格搜索（GridSearchCV）或贝叶斯优化（Bayesian Optimization）自动调参。

五、决策树的实际应用案例

5.1 医疗诊断：疾病预测

决策树可用于根据症状（如体温、咳嗽频率）预测疾病类型。例如，某医院通过决策树模型将肺炎诊断准确率提升了15%，同时医生可通过模型规则快速理解诊断依据。

5.2 金融风控：信用评分

银行利用决策树分析客户年龄、收入、负债等特征，划分信用等级。相比逻辑回归，决策树能自动捕捉非线性关系（如收入对信用的影响在高收入段减弱）。

5.3 电商推荐：用户行为分析

电商平台通过决策树分析用户浏览历史、购买记录等特征，预测其可能感兴趣的商品类别。例如，某电商将推荐转化率提升了20%，且规则可解释性增强了运营团队对模型的信任。

六、总结与学习建议

决策树作为机器学习的入门算法，兼具理论简洁性和实践广泛性。初学者可通过以下步骤深入掌握：

1. 理论推导：手动计算信息增益、基尼指数，理解分裂逻辑。
2. 代码实践：从Scikit-learn的简单示例入手，逐步调整参数观察效果。
3. 可视化分析：利用plot_tree或export_text输出决策规则，验证模型合理性。
4. 对比学习：将决策树与逻辑回归、SVM等算法对比，理解其适用场景。

未来可进一步探索集成方法（如XGBoost、LightGBM）或结合深度学习（如决策树与神经网络的混合模型），以应对更复杂的任务。决策树不仅是独立的算法，更是理解更复杂模型（如随机森林）的基础，值得深入学习。