什么是Boltzmann分布

Boltzmann分布（玻尔兹曼分布）是统计力学和概率论中一个重要的概念，用于描述系统中粒子或状态在不同能量水平上的分布情况。它以奥地利物理学家路德维希·玻尔兹曼（Ludwig Boltzmann）的名字命名，广泛应用于物理、化学、机器学习等领域，特别是在能量基础模型（Energy-Based Models, EBMs）中，用于定义数据的概率分布。

Boltzmann分布的定义

Boltzmann分布描述了一个系统在热平衡状态下，处于某个特定能量状态的概率。假设一个系统中的状态 ( $x$ ) 具有能量 ( $E(x)$ )，则该状态的概率 ( $p(x)$ ) 由以下公式给出：

$$p(x)=\frac{1}{Z}\exp \left(-\frac{E(x)}{kT}\right)$$

其中：

• ( $E(x)$ )：状态 ( $x$ ) 的能量，通常由一个标量值函数定义。
• ( $k$ )：玻尔兹曼常数，在物理系统中用于连接能量和温度（在机器学习中，常用 ( $k=1$ ) 来简化公式）。
• ( $T$ )：系统的绝对温度，控制分布的“平滑”程度。
• ( $Z$ )：归一化常数，也称为配分函数（partition function），用于确保概率总和为 1，定义为：

$$Z=\sum _x\exp \left(-\frac{E(x)}{kT}\right)\text{（离散情况）}$$

或

$$Z=\int \exp \left(-\frac{E(x)}{kT}\right)dx\text{（连续情况）}$$

在机器学习中，Boltzmann分布通常简化为：

$$p(x)\propto \exp (-E(x))$$

这里的 ( $E(x)$ ) 是一个能量函数，( $p(x)$ ) 表示数据的未归一化概率密度，归一化常数 ( $Z$ ) 可能难以直接计算，但在某些采样方法（如朗之万动力学）中并不需要显式计算 ( $Z$ )。

Boltzmann分布的意义

Boltzmann分布的核心思想是将概率与能量联系起来：能量越低的状态，出现的概率越高。这在能量基础模型（EBMs）中尤其重要，因为 EBMs 通过学习一个能量函数 ( $E(x)$ )，将高数据密度的区域分配较低的能量，从而逼近数据的真实分布。

例如，在机器学习中，EBMs 使用 Boltzmann 分布来：

• 生成数据：通过朗之万采样（Langevin sampling）等方法，从分布 ( $p(x)$ ) 中生成样本。
• 条件生成：通过在能量函数中加入额外的先验项，解决逆问题或生成特定条件下的数据。
• 分析数据复杂性：通过检查能量函数的局部曲率，计算数据的局部内在维度（Local Intrinsic Dimension, LID）。

举例说明

假设我们有一个简单的系统，包含三个状态 ( $x_1,x_2,x_3$ )，它们的能量分别为 ( $E(x_1)=0,E(x_2)=1,E(x_3)=2$ )，温度 ( $kT=1$ )。我们可以计算每个状态的未归一化概率：

$$\exp (-E(x_1))=\exp (0)=1$$
$$\exp (-E(x_2))=\exp (-1)\approx 0.367$$
$$\exp (-E(x_3))=\exp (-2)\approx 0.135$$

配分函数 ( $Z$) 为：

$$Z=1+0.367+0.135\approx 1.502$$

因此，各个状态的概率为：

$$p(x_1)=\frac{1}{1.502}\approx 0.666,p(x_2)=\frac{0.367}{1.502}\approx 0.244,p(x_3)=\frac{0.135}{1.502}\approx 0.090$$

可以看到，能量最低的状态 ( $x_1$ ) 具有最高的概率。

总结

Boltzmann分布提供了一种优雅的方式，将能量与概率分布联系起来，广泛应用于物理系统建模和机器学习中的概率建模。其数学公式简单而强大，核心在于通过能量函数 ( $E(x)$ ) 定义概率密度 ( $p(x)\propto \exp (-E(x))$ )。在能量基础模型中，Boltzmann分布不仅用于数据生成，还为条件生成和数据复杂性分析提供了重要工具。

后记

2025年4月17日于上海，在grok 3大模型辅助下完成。