Day 10：集成学习进阶（Boosting: AdaBoost, GBDT）

📋 目录

1. Boosting 基础原理
2. AdaBoost 算法详解
3. 梯度提升机 (GBDT) 原理
4. AdaBoost vs GBDT vs 随机森林
5. GBDT 核心超参数
6. 损失函数与优化

---

第一部分：Boosting 基础原理（1.5小时理论）

1.1 什么是 Boosting？

定义：Boosting 是一种将多个弱学习器串行组合成强学习器的集成方法，每个新模型都关注前一个模型犯错的样本。

核心思想：三个臭皮匠，通过递进式学习变成诸葛亮。

与 Bagging 的核心区别：

特性	Bagging (随机森林)	Boosting (AdaBoost/GBDT)
训练方式	并行训练	串行训练
样本权重	均匀采样	动态调整权重
模型权重	平等投票	根据性能加权
目标	降低方差	降低偏差
过拟合风险	较低	较高（需调参）

1.2 Boosting 的工作流程

初始化样本权重 (均匀)
    ↓
训练弱学习器 h₁
    ↓
计算 h₁ 的误差，更新样本权重（错误样本权重↑）
    ↓
训练弱学习器 h₂（关注上一轮错误样本）
    ↓
计算 h₂ 的误差，更新样本权重
    ↓
... 重复 T 次 ...
    ↓
加权组合所有弱学习器得到最终强学习器

1.3 Boosting 的数学原理

加法模型：
$$F(x)=\sum _{t=1}^T{\alpha }_t{h}_t(x)$$
其中：

• $h_t$：第 $t$ 个弱学习器
• ${\alpha }_t$：第 $t$ 个学习器的权重（表现越好，权重越大）

前向分步算法：
$$F_t(x)=F_{t-1}(x)+{\alpha }_t{h}_t(x)$$

每一步最小化损失函数：
$$({\alpha }_t,h_t)={\text{arg⁡min}}_{\alpha ,h}\sum _{i=1}^{n}L(y_i,F_{t-1}(x_i)+\alpha h(x_i))$$

1.4 Boosting 的优缺点

优点：

• 高精度：通常优于 Bagging
• 灵活：可使用多种损失函数
• 特征重要性：自动评估

缺点：

• 对异常值敏感
• 训练较慢（串行）
• 容易过拟合（需仔细调参）

---

第二部分：AdaBoost 算法详解

2.1 AdaBoost 原理

AdaBoost (Adaptive Boosting，自适应增强)：第一个实用的 Boosting 算法，通过调整样本权重和基学习器权重实现。

算法步骤：

1. 初始化样本权重（假设共有 $n$ 个样本）：
   $$w_1^{(i)}=\frac{1}{n},i=1,2,\dots ,n$$

2. 迭代训练弱分类器（进行 T 轮迭代，对于 t = 1 到 T）：

   • 训练弱学习器 $h_t$（使用权重 $w_t$）

   • 计算加权误差率：
     $${ϵ}_t=\frac{{\sum }_{i=1}^n{w}_t^{(i)}\cdot \mathbb{I}(h_t(x_i)\ne y_i)}{{\sum }_{i=1}^n{w}_t^{(i)}}$$

   • 计算学习器权重：
     $${\alpha }_t=\frac{1}{2}\ln \left(\frac{1-{ϵ}_t}{{ϵ}_t}\right)$$
     ${ϵ}_t$ 越小，${\alpha }_t$ 越大。

   • 更新样本权重：
     $$w_{t+1}^{(i)}=w_t^{(i)}\cdot \exp \left(-{\alpha }_t{y}_i{h}_t(x_i)\right)$$
     这里二分类标签为 1 或 -1，所以 实际值 $y_i$ 和预测值 $h_t(x_i)$ 取值为 1 或 -1。

   • 归一化权重

3. 输出最终模型：
   $$H(x)=\text{sign}\left(\sum _{t=1}^T{\alpha }_t{h}_t(x)\right)$$

2.2 AdaBoost 的权重更新

直观理解：

• 分类错误的样本：权重增加（$\times e^{{\alpha }_t}$）
• 分类正确的样本：权重减少（$\times e^{-{\alpha }_t}$）

示例：

# 假设 α = 0.5
# 错误样本新权重 = 旧权重 × 1.648
# 正确样本新权重 = 旧权重 × 0.607

2.3 AdaBoost 的基学习器

常用基学习器：

• 决策树桩（stump）：只有1个分裂节点的决策树（默认）
• 浅层决策树（max_depth=1-3）

为什么用弱学习器：

• 防止过拟合
• 体现 Boosting 的"递进"思想
• 计算效率高

2.4 AdaBoost 的损失函数

指数损失函数：
$$L(y,F(x))=exp(-yF(x))$$
特点：

• 对异常值敏感
• 分类边界会偏向困难样本

---

第三部分：梯度提升机 (GBDT) 原理

3.1 从 AdaBoost 到 GBDT

AdaBoost 的限制：

• 仅支持指数损失（二分类）
• 难以扩展到回归和多分类

GBDT 的突破：

• 任何可微损失函数
• 统一框架：回归、分类、排序

3.2 GBDT 核心思想

关键洞察：将 Boosting 视为函数空间上的梯度下降

算法流程：

1. 初始化：
   $$F_0(x)=\arg \underset{\gamma }{\min }\sum _{i=1}^{n}L(y_i,\gamma )$$

2. 对于 m = 1 到 M：

   • 计算负梯度（伪残差）：
     $$r_{im}=-{\left[\frac{\partial L(y_i,F(x_i))}{\partial F(x_i)}\right]}_{F=F_{m-1}}$$

   • 训练回归树 $h_m(x)$ 拟合伪残差 $(x_i,r_{im})$

   • 计算最优步长：
     $${\gamma }_m=\arg \underset{\gamma }{\min }\sum _{i=1}^{n}L(y_i,F_{m-1}(x_i)+\gamma h_m(x_i))$$

   • 更新模型：
     $$F_m(x)=F_{m-1}(x)+\nu \cdot {\gamma }_m{h}_m(x)$$

3. 输出 $F_M(x)$

3.3 伪残差的直观理解

伪残差：损失函数对预测值的负梯度，表示当前模型预测的错误方向和程度。

不同损失函数的伪残差：

损失函数	伪残差公式	说明
平方损失（回归）	$r=y-F(x)$	真实残差
绝对损失（回归）	$r=\text{sign}(y-F(x))$	符号残差
对数损失（分类）	$r=y-p(x)$	概率残差

3.4 学习率（Shrinkage）

学习率 $\nu$：控制每棵树的贡献，防止过拟合。
$$F_m(x)=F_{m-1}(x)+\mu \cdot {\gamma }_m{h}_m(x)$$
典型值：0.01 - 0.1

效果：

• 小学习率 + 多棵树 = 更好泛化
• 需要更多训练时间

---

第四部分：AdaBoost vs GBDT vs 随机森林

4.1 三者的核心区别

特性	随机森林	AdaBoost	GBDT
集成方式	Bagging（并行）	Boosting（串行）	Boosting（串行）
样本采样	Bootstrap（均匀）	加权采样	全部使用（加权）
基学习器	完整决策树	决策树桩	浅层决策树
模型权重	平等	根据误差加权	学习率控制
过拟合风险	低	中	中高
对异常值	鲁棒	敏感	中等
可解释性	中等	较差	较差

4.2 性能对比

数据集类型	推荐算法	原因
高维稀疏	随机森林	对噪声特征鲁棒
低维稠密	GBDT	能捕捉复杂交互
有异常值	随机森林	对异常值不敏感
需要概率输出	GBDT	天然支持概率
小数据集	AdaBoost	不易过拟合

4.3 选择指南

# 决策树
if 需要可解释性:
    if 数据量小:
        return "决策树"
    else:
        return "随机森林（可解释性较弱）"

if 追求最高精度:
    if 数据量大:
        return "XGBoost / LightGBM（GBDT变体）"
    else:
        return "GBDT / AdaBoost"

if 对异常值敏感:
    return "随机森林"

if 特征维度高且稀疏:
    return "随机森林 / 线性模型"

---

第五部分：GBDT 核心超参数

5.1 关键参数

参数	含义	典型值	影响
n_estimators	树的数量	100-1000	越多越稳定
learning_rate	学习率	0.01-0.1	越小越需要更多树
max_depth	最大深度	3-8	控制交互复杂度
min_samples_split	分裂最小样本数	2-20	正则化
subsample	子采样比例	0.5-1.0	随机性，防过拟合
loss	损失函数	‘log_loss’	任务类型

5.2 参数交互

学习率与树数量的权衡：

# 大学习率 + 少树
gbdt = GradientBoostingClassifier(learning_rate=0.3, n_estimators=50)

# 小学习率 + 多树（通常更好）
gbdt = GradientBoostingClassifier(learning_rate=0.05, n_estimators=300)

经验法则：

• 学习率 × 树数量 ≈ 常数
• 小学习率（<0.1）通常更好

5.3 正则化参数

参数	作用	建议
subsample	每次迭代采样比例	0.5-0.8
max_depth	限制树深度	3-6
min_samples_split	分裂最小样本	5-20
min_samples_leaf	叶节点最小样本	2-10
max_features	特征子集	‘sqrt’

---

第六部分：损失函数与优化

6.1 常用损失函数

任务	损失函数	sklearn参数	说明
二分类	对数损失	loss='log_loss'	输出概率
二分类	指数损失	loss='exponential'	类似AdaBoost
回归	平方损失	loss='ls'	对异常值敏感
回归	绝对损失	loss='lad'	鲁棒
回归	Huber损失	loss='huber'	平衡

6.2 损失函数选择

# 二分类（默认，推荐）
gbdt = GradientBoostingClassifier(loss='log_loss')

# 类似AdaBoost（对异常值更敏感）
gbdt = GradientBoostingClassifier(loss='exponential')

# 回归 - 平方损失
gbr = GradientBoostingRegressor(loss='ls')

# 回归 - 绝对损失（鲁棒）
gbr = GradientBoostingRegressor(loss='lad')

6.3 早停（Early Stopping）

原理：当验证集性能不再提升时停止训练。

gbdt = GradientBoostingClassifier(
    n_estimators=1000,
    validation_fraction=0.1,  # 10%数据作为验证集
    n_iter_no_change=10,       # 10轮不提升则停止
    tol=1e-4                   # 提升阈值
)