极大似然估计——统计推断的参数估计方法

phoenix@Capricornus

1905人浏览 · 2025-05-23 16:28:28

phoenix@Capricornus · 2025-05-23 16:28:28 发布

极大似然估计

极大似然估计（Maximum Likelihood Estimation, MLE）又称最大似然估计，是一种利用给定样本观测值来评估模型参数的方法，其基本原理为：利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值。

分两种情况介绍极大似然估计的方法和步骤。

离散型总体

设离散型总体 $X$ 的分布律为
$P\left(X=x\right) = p\left(x; \theta\right),$
其中 $θ∈Θ\theta \in \varTheta$ 为未知参数， $Θ\varTheta$ 为 $θ\theta$ 的所有可能取值范围（称为参数空间），则对于给定的样本观测值 $,xnx_1, x_2, \cdots, x_n$ ，样本的联合分布律为
$P\left(X_1 = x_1, X_2 = x_2, \cdots, X_n = x_n\right) = \prod_{i=1}^{n} p\left(x_i; \theta\right).$
称 $L(θ)L\left(\theta\right)$ 为似然函数，它是未知参数 $θ\theta$ 的函数。

连续型总体

设连续型总体 $X$ 的概率密度函数为 $f(x;θ)f\left(x; \theta\right)$ ，其中 $θ∈Θ\theta \in \varTheta$ 为未知参数， $Θ\varTheta$ 为 $θ\theta$ 的所有可能取值范围（称为参数空间），则对于给定的样本观测值 $,xnx_1, x_2, \cdots, x_n$ ，样本的联合概率密度为 $∏i=1nf(xi;θ)\prod_{i=1}^{n} f\left(x_i; \theta\right)$ ，从而随机变量 $X_i$ 落在点 $x_i$ 的邻域（其半径为 $Δxi\Delta x_i$ ）内的概率可近似为
$\prod_{i=1}^{n} f\left(x_i; \theta\right) \Delta x_i.$

当 $,n)x_i \left(i=1,2,\cdots,n\right)$ 取定时，它是 $θ\theta$ 的函数，记为 $L(θ)L\left(\theta\right)$ ，称
$L\left(\theta\right) = \prod_{i=1}^{n} f\left(x_i; \theta\right) \Delta x_i, \theta \in \varTheta$
为似然函数。由于 $,n)\Delta x_i \left(i=1,2,\cdots,n\right)$ 与 $θ\theta$ 无关，故似然函数常取为
$L\left(\theta\right) = \prod_{i=1}^{n} f\left(x_i; \theta\right), \theta \in \varTheta.$

极大似然估计法是，根据抽样得到的样本观测值 $,xnx_1, x_2, \cdots, x_n$ 来选取参数 $θ\theta$ 的值，使样本观测值出现的可能性最大，即使似然函数 $L(θ)L\left(\theta\right)$ 达到最大值，从而求得参数 $θ\theta$ 的极大似然估计 $θ^\hat{\theta}$ 。

定义设总体的概率函数为 $p(x;θ)p\left(x; \theta\right)$ ， $θ∈Θ\theta \in \varTheta$ ，其中 $θ\theta$ 是一个未知参数或几个未知参数组成的参数向量， $Θ\varTheta$ 是参数空间， $,xnx_1, x_2, \cdots, x_n$ 是来自该总体的样本，将样本的联合概率函数看成 $θ\theta$ 的函数，用 $,xn)L\left(\theta; x_1, x_2, \cdots, x_n\right)$ 表示，简记为 $L(θ)L\left(\theta\right)$ ，
$L\left(\theta\right) = L\left(\theta; x_1,x_2, \cdots, x_n\right) = p\left(x_1; \theta\right)p\left(x_2; \theta\right)\cdots p\left(x_n; \theta\right),$
$L(θ)L\left(\theta\right)$ 称为样本的似然函数。若某统计量 $θ^=θ^(x1,⋯ ,xn)\hat{\theta} = \hat{\theta}\left(x_1, \cdots, x_n\right)$ 满足
$L(θ^)=max⁡θ∈ΘL(θ), L\left(\hat{\theta}\right) = \max_{\theta \in \varTheta} L\left(\theta\right),$
则称 $θ^\hat{\theta}$ 是 $θ\theta$ 的极大似然估计，简记为 MLE（maximum likelihood estimate）。

由于 $ln⁡x\ln x$ 是 $x$ 的单调增函数，因此，使对数似然函数 $ln⁡L(θ)\ln L\left(\theta\right)$ 达到最大与使 $L(θ)L\left(\theta\right)$ 达到最大是等价的。人们通常更习惯于由 $ln⁡L(θ)\ln L\left(\theta\right)$ 出发寻找 $θ\theta$ 的极大似然估计。当 $L(θ)L\left(\theta\right)$ 是可微函数时，求导是求极大似然估计最常用的方法，此时对对数似然函数求导更加简单些。

当 $L(θ)L\left(\theta\right)$ 是可微函数时，要使 $L(θ)L\left(\theta\right)$ 取到最大值， $θ\theta$ 必须满足方程
$\dfrac{{\rm d}L\left(\theta\right)}{{\rm d}\theta} = 0,$
此方程称为似然方程。

而由于 $L(θ)L\left(\theta\right)$ 是 $n$ 个函数的乘积，在求导时比较复杂，而 $ln⁡L(θ)\ln L\left(\theta\right)$ 是 $L(θ)L\left(\theta\right)$ 的单调递增函数， $ln⁡L(θ)\ln L\left(\theta\right)$ 与 $L(θ)L\left(\theta\right)$ 在同一点处取得最大值，因此求解上述似然方程可以转化为求解方程
$\dfrac{{\rm d}\ln L\left(\theta\right)}{{\rm d}\theta} = 0,$
这个方程称为对数似然方程。

当总体 $X$ 的分布中有多个未知参数 $,θm\theta_1, \theta_2, \cdots, \theta_m$ 时，似然函数就是这些参数的多元函数 $,θm)L\left(\theta_1, \theta_2, \cdots, \theta_m\right)$ ，则相应地有对数似然方程组。
$\begin{cases} \dfrac{\partial \ln L\left(\theta_1, \theta_2, \cdots, \theta_m\right)}{\partial \theta_1} = 0, \\ \dfrac{\partial \ln L\left(\theta_1, \theta_2, \cdots, \theta_m\right)}{\partial \theta_2} = 0, \\ \vdots \\ \dfrac{\partial \ln L\left(\theta_1, \theta_2, \cdots, \theta_m\right)}{\partial \theta_m} = 0, \end{cases}$

由此方程组解得 $,θm\theta_1, \theta_2, \cdots, \theta_m$ 的极大似然估计值 $θ^1,θ^2,⋯ ,θ^m\hat{\theta}_1, \hat{\theta}_2, \cdots, \hat{\theta}_m$ .

综上，可得求极大似然估计的一般步骤：

(1) 写出似然函数 $,xn,θ)L\left(\theta\right) = L\left(x_1, x_2, \cdots, x_n, \theta\right)$ ；

(2) 令 $dL(θ)dθ=0\dfrac{{\rm d}L\left(\theta\right)}{{\rm d}\theta} = 0$ 或 $dln⁡L(θ)dθ=0\dfrac{{\rm d}\ln L\left(\theta\right)}{{\rm d}\theta} = 0$ ，求出驻点；

(3) 判断并求出最大值点，用样本值代入是参数的极大似然估计值。

注：
(1) 当似然函数关于未知参数不可微时，只能按最大似然原理计算最大值点；
(2) 上述的一般步骤对含有多个未知参数的情形同样适用，只需将求导数变为求偏导数；
(3) 称 $dln⁡L(θ)dθ=0\dfrac{{\rm d}\ln L\left(\theta\right)}{{\rm d}\theta} = 0$ 为对数似然方程，称 $,θn)∂θi=0\dfrac{\partial \ln L\left(\theta_1, \theta_2, \cdots, \theta_n\right)}{\partial \theta_i} = 0$ ， $,ni=1,2,\cdots,n$ 为对数似然方程组。

极大似然估计的不变性原理 设 $θ^\hat{\theta}$ 是 $θ\theta$ 的极大似然估计， $u\left(\theta\right)$ 是 $θ\theta$ 的函数，且具有单值的反函数 $θ=θ(u)\theta = \theta\left(u\right)$ ，则 $u(θ^)u\left(\hat{\theta}\right)$ 是 $u(θ)u\left(\theta\right)$ 的极大似然估计。