我花了一周搞懂Softmax，发现90%的教程都漏了这一点

HXhlx0

197人浏览 · 2026-06-11 17:43:27

HXhlx0 · 2026-06-11 17:43:27 发布

上周帮学弟调一个三分类模型，死活跑不通。看了半天，发现他把Softmax输出当概率直接用了，但损失函数写的却是MSE。这个坑我踩过，今天想聊聊多分类问题到底该怎么玩。

一句话总结

Softmax负责把模型的"打分"转成概率，交叉熵负责告诉模型"你错在哪"。两者组合后，反向传播梯度简化为预测概率减去真实标签，这是深度学习分类任务的核心基础。

背景：从二分类到多分类

之前写过Sigmoid的推导，那是二分类的情况。但现实中的分类问题往往是多类的：手写数字识别（10类）、ImageNet（1000类）、文本情感分析（3-5类）。

问题来了：Sigmoid只能输出一个概率值，多分类怎么办？

最直观的想法是"每个类别单独训一个二分类器"。但这样做有两个问题：

类别之间是互斥的。一张图片不可能同时是"猫"和"狗"，但独立的二分类器不会考虑这一点。
输出不统一。每个二分类器输出自己的概率，加起来不等于1，没法直接比较。

Softmax就是来解决这个问题的。

Softmax：把打分变成概率

模型在干什么

神经网络最后一层通常输出一个向量：

$\mathbf z = \begin{bmatrix}z_1 & z_2 & \cdots & z_K\end{bmatrix}^T$

这里的 $z_k$ 是模型对第 $k$ 个类别的原始打分，也叫logit。它可以正、可以负，也不要求加起来等于什么。

但概率必须满足两个条件：非负、加起来等于1。Softmax就是做这个转换的。

定义

$p_k = \frac{e^{z_k}}{\sum_{j=1}^{K}e^{z_j}}$

用人话说： 对每个打分取指数（保证正数），再除以所有指数之和（保证加起来等于1）。

举个例子：

打分:    [2.0,  1.0,  0.1]
指数:    [7.39, 2.72, 1.11]
Softmax: [0.66, 0.24, 0.10]

模型最看好第1类（概率66%），但也不完全排除其他类。这就是Softmax的"软化"效果。

为什么要用指数函数

两个原因：

第一，保证输出为正。 指数函数 $e^x > 0$ 恒成立，这是概率的基本要求。

第二，放大差距。 指数会把大的值变得更大。比如打分2.0和1.0，指数后变成7.39和2.72，差距从1倍拉到了2.7倍。这让模型更"自信"地选择高分类别。

但这个放大也带来了数值问题，后文会讲怎么解决。

多分类Logistic回归

Softmax配合线性模型，就是多分类Logistic回归：

$P(y=k|\mathbf x)=\frac{e^{\mathbf w_k^T\mathbf x+b_k}}{\sum_{j=1}^{K}e^{\mathbf w_j^T\mathbf x+b_j}}$

写成矩阵形式更简洁：

$\mathbf z = W\mathbf x + \mathbf b, \quad \mathbf p = \text{Softmax}(\mathbf z)$

这里 $W$ 是 $\times d$ 的权重矩阵，每一行对应一个类别的参数。

关键理解： 多分类Logistic回归不是"一个二分类器复制K份"，而是所有类别共享同一个特征空间，通过不同的权重向量来区分。

交叉熵损失：模型错在哪

从极大似然出发

给定训练集 $\{ (\mathbf x_i, \mathbf y_i) \}_{i=1}^m$ ，其中 $\mathbf y_i$ 是one-hot标签（真实类别为1，其余为0）。

模型对第 $i$ 个样本的预测概率为 $\mathbf p_i$ 。由于one-hot的特性，真实类别的概率可以写成：

$P(\mathbf y_i|\mathbf x_i) = \prod_{k=1}^{K} p_{ik}^{y_{ik}}$

整个数据集的似然：

$\prod_{i=1}^{m} \prod_{k=1}^{K} p_{ik}^{y_{ik}}$

取对数：

$\ln L = \sum_{i=1}^{m} \sum_{k=1}^{K} y_{ik} \ln p_{ik}$

最大化似然等价于最小化负对数似然，定义损失函数：

$-\frac{1}{m} \sum_{i=1}^{m} \sum_{k=1}^{K} y_{ik} \ln p_{ik}$

这就是交叉熵损失。

单样本的交叉熵

对于单个样本：

$\ell = -\sum_{k=1}^{K} y_k \ln p_k$

由于one-hot中只有真实类别 $c$ 的 $y_c=1$ ，所以：

$\ell = -\ln p_c$

用人话说： 交叉熵只关心模型给真实类别打了多少分。预测概率越接近1，损失越接近0；越接近0，损失趋向无穷大。

这就是为什么交叉熵比MSE更适合分类：当模型预测错误时，交叉熵的梯度不会消失，而MSE会。

梯度推导：为什么Softmax+交叉熵的组合这么漂亮

这是本文最核心的部分，也是很多教程讲得不清不楚的地方。

Step 1：Softmax的导数

Softmax的第 $i$ 个输出：

$p_i = \frac{e^{z_i}}{S}, \quad S = \sum_{j=1}^{K} e^{z_j}$

对 $z_l$ 求导，分两种情况：

当 $i = l$ 时：

$\frac{\partial p_i}{\partial z_i} = p_i(1-p_i)$

当 $\neq l$ 时：

$\frac{\partial p_i}{\partial z_l} = -p_i p_l$

统一写成：

$\frac{\partial p_i}{\partial z_l} = p_i(\delta_{il} - p_l)$

其中 $\delta_{il}$ 是Kronecker delta。

Step 2：交叉熵对logits的梯度

单样本交叉熵：

$\ell = -\sum_{k=1}^{K} y_k \ln p_k$

对 $z_l$ 求导，用链式法则：

$\frac{\partial \ell}{\partial z_l} = \sum_{k=1}^{K} \frac{\partial \ell}{\partial p_k} \frac{\partial p_k}{\partial z_l} = \sum_{k=1}^{K} \left(-\frac{y_k}{p_k}\right) p_k(\delta_{kl} - p_l)$

化简：

$\frac{\partial \ell}{\partial z_l} = -\sum_{k=1}^{K} y_k(\delta_{kl} - p_l) = -y_l + p_l\sum_{k=1}^{K} y_k = p_l - y_l$

因为 $\sum_{k=1}^{K} y_k = 1$ 。

最终结果

$\frac{\partial \ell}{\partial \mathbf z} = \mathbf p - \mathbf y$

这就是90%的教程都漏讲清楚的地方。

Softmax和交叉熵组合后，梯度简化为预测概率减去真实标签。不需要算Jacobian，不需要链式法则展开，直接一减完事。

这个简洁性不是巧合，而是数学上的"完美配合"：Softmax的指数形式刚好抵消了交叉熵的对数导数。

参数梯度与反向传播

已知 $\frac{\partial \ell}{\partial \mathbf z} = \mathbf p - \mathbf y$ ，设 $\mathbf g = \mathbf p - \mathbf y$ 。

对于线性模型 $\mathbf z = W\mathbf x + \mathbf b$ ：

$\frac{\partial \ell}{\partial W} = \mathbf g \mathbf x^T, \quad \frac{\partial \ell}{\partial \mathbf b} = \mathbf g, \quad \frac{\partial \ell}{\partial \mathbf x} = W^T \mathbf g$

批量情况下：

$\frac{\partial J}{\partial W} = \frac{1}{m}(P-Y)^T X, \quad \frac{\partial J}{\partial \mathbf b} = \frac{1}{m}\sum_{i=1}^{m}(\mathbf p_i - \mathbf y_i)$

与Sigmoid的关系

Softmax是Sigmoid的多分类推广。当 $K = 2$ 时：

$p_1 = \frac{e^{z_1}}{e^{z_1}+e^{z_2}} = \frac{1}{1+e^{z_2-z_1}} = \frac{1}{1+e^{-z}}$

其中 $z = z_1 - z_2$ 。这正是Sigmoid函数。

所以二分类用Sigmoid、多分类用Softmax，本质上是一回事。

数值稳定性

直接计算 $e^{z_k}$ 时，如果 $z_k$ 很大（比如1000），会发生溢出。

解决方案： 减去最大值

$p_k = \frac{e^{z_k - C}}{\sum_{j=1}^{K}e^{z_j - C}}, \quad C = \max_j z_j$

这样最大的指数项变成 $e^0 = 1$ ，有效避免溢出。数学上等价，因为分子分母同乘 $e^{-C}$ 。

这是工程实现中必须做的，但很多教程不会提。

Python实现

import numpy as np

def softmax(z):
    """
    数值稳定的Softmax实现
    z: (m, K) 的logits矩阵
    返回: (m, K) 的概率矩阵
    """
    # 减去每行的最大值，防止溢出
    z = z - np.max(z, axis=1, keepdims=True)
    exp_z = np.exp(z)
    return exp_z / np.sum(exp_z, axis=1, keepdims=True)

def cross_entropy(p, y):
    """
    交叉熵损失
    p: (m, K) 的预测概率
    y: (m, K) 的one-hot标签
    """
    eps = 1e-12  # 防止log(0)
    p = np.clip(p, eps, 1.0)
    return -np.mean(np.sum(y * np.log(p), axis=1))

def compute_gradients(X, y, W, b):
    """
    计算Softmax+交叉熵的梯度
    X: (m, d) 输入
    y: (m, K) one-hot标签
    W: (K, d) 权重
    b: (K,) 偏置
    """
    m = X.shape[0]

    # 前向传播
    z = X @ W.T + b  # (m, K)
    p = softmax(z)   # (m, K)

    # 计算损失
    loss = cross_entropy(p, y)

    # 反向传播：核心公式 dz = (p - y) / m
    dz = (p - y) / m  # (m, K)

    # 参数梯度
    dW = dz.T @ X     # (K, d)
    db = np.sum(dz, axis=0)  # (K,)

    return loss, dW, db

# 简单测试
if __name__ == "__main__":
    # 3分类问题，2维输入
    np.random.seed(42)
    m, d, K = 100, 2, 3

    X = np.random.randn(m, d)
    y = np.zeros((m, K))
    y[np.arange(m), np.random.randint(0, K, m)] = 1

    W = np.random.randn(K, d) * 0.01
    b = np.zeros(K)

    loss, dW, db = compute_gradients(X, y, W, b)
    print(f"Loss: {loss:.4f}")
    print(f"dW shape: {dW.shape}, db shape: {db.shape}")