摘要

本周继续学习李宏毅《机器学习》课程，主攻分类任务基础、生成式贝叶斯分类器、逻辑回归模型三大核心板块。以宝可梦属性分类为核心案例，系统理解分类任务的本质与线性回归的适配局限；完整推导生成式分类模型的贝叶斯公式与高斯判别分析逻辑，掌握概率建模思路；深入学习逻辑回归模型的定义、交叉熵损失函数与梯度求解方法，对比生成式与判别式模型的核心差异，完成从回归到分类的监督学习知识拓展。

1 分类任务基础

分类是监督学习中与回归并列的核心任务，与回归输出连续数值不同，分类任务的目标是输出离散的类别标签，广泛应用于垃圾邮件识别、图像分类、用户行为预测等场景。本周课程以宝可梦属性分类为实战案例，讲解分类任务的基础逻辑与建模思路。

1.1 分类任务的核心定义与场景

分类任务的目标是学习一个从输入特征到离散标签的映射函数，核心特点是输出为有限的离散类别。以宝可梦属性分类为例，输入为宝可梦的 CP 值、血量、体型等特征，输出为 “水系 / 普通系” 等类别标签，典型的分类场景包括：

二分类任务：输出仅包含 2 个类别（如判断邮件是否为垃圾邮件）

多分类任务：输出包含 3 个及以上类别（如识别手写数字 0-9）

1.2 为什么不能用线性回归解决分类问题？

课程通过对比分析，明确了线性回归在分类任务中的局限性：

输出形式不匹配：线性回归的输出为连续数值，而分类任务需要的是离散类别或类别概率，无法直接映射为分类结果；

异常值敏感：线性回归的平方误差损失对离群点高度敏感，少量异常样本会严重干扰模型拟合，导致分类边界偏移；

概率建模缺失：线性回归无法输出类别概率，而分类任务中概率信息（如样本属于某一类的置信度）是重要的决策依据。

1.3 生成式分类模型：贝叶斯分类器与高斯判别分析

课程重点讲解了生成式模型（Generative Model）的核心思路：通过建模数据的生成概率，间接求解分类结果，核心基于贝叶斯公式：

其中 P(Ci)  为类别先验概率，P(x|Ci)  为类条件概率（即类别 Ci  下特征 x  的分布），通过最大化后验概率 P(Ci|x)  确定样本类别。

课程以高斯分布假设为例，讲解了高斯判别分析（GDA）：假设每一类的特征服从多维高斯分布，通过训练数据估计高斯分布的均值、协方差矩阵，进而计算类条件概率，完成分类建模。

2 逻辑回归模型

逻辑回归（Logistic Regression）是分类任务中最基础的判别式模型，直接学习从特征到类别概率的映射，而非建模数据的生成过程，是后续深度学习分类任务的基础。

2.1 逻辑回归的定义与 Sigmoid 函数

逻辑回归的核心是将线性回归的输出通过 Sigmoid 函数映射为 0-1 之间的概率值，适用于二分类任务。

线性变换：对输入特征进行线性组合，得到中间结果：

Sigmoid 映射：通过 Sigmoid 函数将线性结果转化为概率：

其中输出结果 σ(z)∈(0,1) ，可直接作为样本属于正类的概率，当概率大于 0.5 时判定为正类，否则为负类。

2.2 交叉熵损失函数与优化目标

逻辑回归采用交叉熵损失（Cross Entropy）作为模型评估标准，替代了线性回归的平方误差损失，解决了平方误差在分类任务中的梯度消失问题。

二分类交叉熵损失公式：

其中 yn  为样本的真实标签（0 或 1），y^n  为模型预测的类别概率。

优化目标：通过梯度下降算法，求解使交叉熵损失最小的最优参数 w,b ，数学表达为：

2.3 梯度下降求解逻辑回归参数

课程完整推导了逻辑回归的梯度更新公式，核心是计算交叉熵损失对参数的偏导数：

损失函数对权重 w  的梯度：

损失函数对偏置 b  的梯度：

参数更新规则：结合学习率 η ，沿梯度反方向更新参数：
 

2.4 生成式模型与逻辑回归的核心对比

课程通过对比，明确了两种分类模型的本质差异：

对比维度	生成式模型（如高斯判别分析）	逻辑回归（判别式模型）
建模思路	建模数据的生成概率，间接求分类结果	直接学习特征到类别概率的映射
数据需求	对数据分布假设敏感，需满足分布假设	无需分布假设，适配性更强
计算复杂度	需估计分布参数，计算成本较高	仅需优化线性参数，计算高效
适用场景	数据量少、分布已知的场景	数据量大、分布未知的通用场景

3 本周核心拓展与思考

平方误差 vs 交叉熵：平方误差在 Sigmoid 函数的饱和区梯度趋近于 0，会导致梯度消失，而交叉熵损失的梯度与预测误差成正比，训练过程更稳定，这也是逻辑回归选择交叉熵损失的核心原因；

多分类拓展：逻辑回归可通过 Softmax 函数拓展为多分类任务，将多个线性输出映射为类别概率，适配多标签分类场景；

过拟合问题：逻辑回归同样存在过拟合风险，课程提及可通过 L1/L2 正则化、增加训练数据等方式缓解，为后续正则化知识点学习做铺垫。

总结

本周系统完成了分类任务基础、生成式贝叶斯分类器、逻辑回归模型三大模块的学习，实现了从回归任务到分类任务的知识拓展。通过宝可梦分类案例，理解了分类任务与回归任务的本质差异，了解生成式模型的概率建模逻辑；通过完整推导逻辑回归的损失函数与梯度更新公式，掌握了判别式分类模型的底层原理，同时明确了两种分类模型的适用场景与优劣对比。