二分类：与 Sigmoid 传递函数结合使用，标签为0或1。
多分类：与 Softmax 传递函数结合使用，将输出转换为概率分布，标签为one hot编码形式。

---

二元交叉熵误差函数（Binary Cross-Entropy Loss）是二分类问题中常用的误差函数，用于衡量模型预测概率与真实标签之间的差异。

二分类问题中，输出层只需要一个神经元，使用sigmoid函数，以确保预测概率在$[0,1]$ 之间，表示样本属于正类别的概率。而使用softmax函数时，输出层需要两个神经元，分别表示样本属于两个类别的概率。这两个概率值是冗余的（一个是1减去另一个），且会增加模型的复杂度和参数量。

对于二分类问题，使用二元交叉熵误差函数（Binary Cross-Entropy Loss），该误差函数与sigmoid函数的输出形式相匹配，直接计算预测概率与真实标签之间的差异。

---

对于单个样本，二元交叉熵误差函数为：

$$L=-\left[y\log (p)+(1-y)\log (1-p)\right]$$

其中

$y$：真实标签，取值为 0 或 1。
$p$：模型预测为正类的概率，取值范围为$[0,1]$。

对于包含$N$ 个样本的数据集，总误差为：

$$L=-\frac{1}{N}\sum _{i=1}^N\left[y_i\log (p_i)+(1-y_i)\log (1-p_i)\right]$$

---

解释

当$y=1$ 时：

$$L=-\log (p)$$

若模型预测$p\to 1$，则误差$L\to 0$，表示预测正确。
若模型预测$p\to 0$，则误差$L\to +\infty$，表示预测错误。

当$y=0$ 时：

$$L=-\log (1-p)$$

若模型预测$p\to 0$，则误差$L\to 0$，表示预测正确。
若模型预测$p\to 1$，则误差$L\to +\infty$，表示预测错误。

---

在二分类问题中，通常将 Sigmoid 函数作为输出层的传递函数，其输出值在$[0,1]$ 之间，与二元交叉熵误差函数的输入要求一致。

误差函数对错误的预测给予较大的惩罚，鼓励模型提高预测准确性。

相比均方误差等误差函数，交叉熵在处理接近 0 或 1 的概率时，梯度不会消失，保证了优化过程的稳定性。

对于类别不平衡的数据集，可通过引入类别权重或使用加权交叉熵误差函数，调整误差函数对不同类别的重视程度，缓解类别不平衡问题。

---

对于二分类问题，交叉熵损失定义为：
$$L=-\frac{1}{N}\sum _{i=1}^N\left[y_i\log (p_i)+(1-y_i)\log (1-p_i)\right]$$
其中，$y_i$是真实标签（0 或 1），$p_i$是模型预测的概率，$N$是样本数量。

---

解释

在二分类问题中，交叉熵损失函数可以表示为：

$$L=-\left[y\log (p)+(1-y)\log (1-p)\right]$$其中，$y$是真实标签（0 或 1），$p$是模型预测为正样本的概率。

• 当$y=1$时，损失函数简化为：
  $$L=-\log (p)$$即预测概率$p$越接近 1，损失越小。

• 当$y=0$时，损失函数简化为：
  $$L=-\log (1-p)$$即预测概率$p$越接近 0，损失越小。