第3篇 | AI工程师必备数学基础：概率论与统计

钱德拉塞卡

414人浏览 · 2026-03-18 11:24:40

钱德拉塞卡 · 2026-03-18 11:24:40 发布

概率论与统计是人工智能的数学基石。在AI领域，从贝叶斯分类器到深度学习，从强化学习到大语言模型，处处都需要概率论的支撑。理解概率与统计，能帮助我们更好地理解模型的不确定性、进行数据分析和做出科学决策。

一、概率的基本概念

概率是描述随机事件发生可能性大小的数值。随机事件是指在相同条件下可能发生也可能不发生的事件。概率的取值范围是[0, 1]，0表示不可能发生，1表示必然发生。

【频率学派观点】认为概率是大量重复试验中事件发生的频率极限值。例如抛硬币，当我们抛10000次硬币，正面朝上的次数大约是5000次，正面朝上的概率约为0.5。

【贝叶斯学派观点】则认为概率是人们对事件发生的主观信念程度。这种观点在机器学习中尤为重要，因为我们可以根据观测数据来更新对参数的后验信念。

概率的基本性质：

非负性：P(A) >= 0
规范性：P(Ω) = 1
可加性：P(A∪B) = P(A) + P(B) - P(A∩B)
互斥时：P(A∪B) = P(A) + P(B)

二、条件概率与贝叶斯定理

条件概率是指在已知某个事件B发生的条件下，事件A发生的概率，记作P(A|B)。其计算公式为：

P(A|B) = P(A∩B) / P(B)

贝叶斯定理是概率论中最重要的定理之一，它描述了如何根据新的证据来更新我们的信念。公式如下：

P(类别|特征) = P(特征|类别) × P(类别) / P(特征)

在机器学习中，P(类别)是先验概率，表示我们在看到数据前对类别的信念；P(特征|类别)是似然，表示在该类别下观察到当前特征的概率；P(类别|特征)是后验概率，表示观测到特征后对类别的更新信念。

代码示例：贝叶斯分类器

import numpy as np

# 模拟医学检测数据
# 假设：患病率0.1%，检测准确率99%

disease_rate = 0.001 # 患病率
sensitivity = 0.99 # 灵敏度（真阳性率）
specificity = 0.99 # 特异度（真阴性率）

# 贝叶斯定理计算检测阳性后的实际患病概率
prior_odds = disease_rate / (1 - disease_rate) # 先验优势
likelihood_ratio = sensitivity / (1 - specificity) # 似然比
posterior_odds = prior_odds * likelihood_ratio # 后验优势
posterior_prob = posterior_odds / (1 + posterior_odds)

print(f'先验概率: {disease_rate*100:.3f}%')
print(f'检测阳性后患病概率: {posterior_prob*100:.2f}%')
print('结论：即使检测为阳性，实际患病概率也不到10%！')

三、常见概率分布

概率分布描述了随机变量取各个可能值的概率。不同的场景适用不同的分布，选择合适的分布是统计建模的关键。

3.1 离散分布

分布名称	适用场景	参数	均值, 方差
二项分布	n次独立实验中成功k次的概率	n, p	np, np(1-p)
泊松分布	单位时间内稀有事件发生的次数	λ	λ, λ
几何分布	首次成功所需的实验次数	p	1/p, (1-p)/p²

3.2 连续分布

分布名称	适用场景	参数	均值, 方差
正态分布	自然界和社会的常见现象	μ, σ	μ, σ²
均匀分布	等概率取值	a, b	(a+b)/2, (b-a)²/12
指数分布	独立事件发生的时间间隔	λ	1/λ, 1/λ²

正态分布是统计学中最重要的分布。中心极限定理告诉我们：无论原始分布如何，大量独立随机变量的和（或平均值）近似服从正态分布。

四、统计推断

统计推断是根据样本数据对总体特征进行推测的过程，主要包括参数估计和假设检验。

4.1 参数估计

点估计用单一数值估计参数，如用样本均值估计总体均值。区间估计给出参数的置信范围，例如"95%置信区间"意味着如果重复抽样100次，约95次构造的区间会包含真实参数。

4.2 假设检验

假设检验是根据样本数据判断关于总体的假设是否成立。首先提出原假设H0和备择假设H1，然后计算在H0为真的条件下观测到当前数据的概率（p值）。如果p值小于显著性水平α（通常取0.05），则拒绝原假设。

p值的正确理解：p值不是"原假设为真的概率"，而是"在原假设为真的条件下，观测到当前或更极端结果的概率"。p值越小，拒绝原假设的证据越强。

代码示例：假设检验

import numpy as np
from scipy import stats

# 比较两组学生成绩是否有显著差异
np.random.seed(42)
group1 = np.random.normal(72, 10, 50) # 对照组
group2 = np.random.normal(75, 10, 50) # 实验组

# 独立样本t检验
t_stat, p_value = stats.ttest_ind(group1, group2)

print(f'对照组均值: {np.mean(group1):.2f}')
print(f'实验组均值: {np.mean(group2):.2f}')
print(f't统计量: {t_stat:.4f}')
print(f'p值: {p_value:.4f}')
print(f'结论: {"存在显著差异" if p_value < 0.05 else "无显著差异"}')

五、相关性分析

皮尔逊相关系数r衡量两个变量之间的线性关系强度，取值范围[-1, 1]。r>0表示正相关，r<0表示负相关，|r|越接近1表示线性关系越强。

六、综合实践示例

下面我们通过一个完整的示例，展示如何用Python进行概率统计分析：

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# 1. 正态分布检验
np.random.seed(42)
data = np.random.normal(100, 15, 100) # 100个样本

# Shapiro-Wilk正态性检验
stat, p = stats.shapiro(data[:50]) # 最多50个样本
print(f'正态性检验 p值: {p:.4f}')
print(f'结论: 数据{"符合" if p > 0.05 else "不符合"}正态分布')

# 2. 置信区间计算
sample_mean = np.mean(data)
sample_std = np.std(data, ddof=1)
n = len(data)
se = sample_std / np.sqrt(n)

# 95%置信区间
ci = stats.t.interval(0.95, df=n-1, loc=sample_mean, scale=se)
print(f'样本均值: {sample_mean:.2f}')
print(f'95%置信区间: [{ci[0]:.2f}, {ci[1]:.2f}]')

# 3. 相关性分析
x = np.random.normal(50, 10, 200)
y = x * 0.8 + np.random.normal(0, 3, 200)
r, p = stats.pearsonr(x, y)
print(f'相关系数: {r:.4f}')
print(f'相关性: {"显著" if p < 0.05 else "不显著"}')

# 可视化
plt.figure(figsize=(10, 4))
plt.subplot(1, 2, 1)
plt.hist(data, bins=20, alpha=0.7, edgecolor='white')
plt.axvline(sample_mean, color='red', linestyle='--', label='均值')
plt.fill_betweenx([0, 25], ci[0], ci[1], alpha=0.2, color='green', label='95%置信区间')
plt.xlabel('数值')
plt.ylabel('频数')
plt.title('数据分布与置信区间')
plt.legend()

plt.subplot(1, 2, 2)
plt.scatter(x, y, alpha=0.5, s=20)
z = np.polyfit(x, y, 1)
plt.plot(x, z[0]*x + z[1], 'r--', linewidth=2)
plt.xlabel('X')
plt.ylabel('Y')
plt.title(f'相关性分析 (r={r:.3f})')

plt.tight_layout()
plt.savefig('statistics_example.png', dpi=150)
plt.show()
print('图表已保存为 statistics_example.png')