似然函数是一种关于统计模型中的参数的函数,表示模型参数中的似然性,概率,用于在已知一些参数的情况下,预测接下来在观测上所得到的结果;似然性,则是用于在已知某些观测所得到的结果时,对有关事物之性质的参数进行估值。


举个例子来说明:抛硬币大家一定都很熟悉 ( θ \theta θ代表正面朝上的概率,我们用H缩写正面朝上,T缩写正面朝下)

1、在概率问题中:我们是已知模型参数 θ \theta θ(这里假设 θ = 0.5 \theta=0.5 θ=0.5),来预测抛硬币的结果。最简单的例如我们想知道抛两次硬币均正面朝上的概率是多少?

P ( H H ∣ θ ) = θ 2 = 0. 5 2 P(HH|\theta)=\theta^2=0.5^2 P(HHθ)=θ2=0.52

2、在似然问题中:关于模型的参数 θ \theta θ是未知的(我们不知道硬币正反面是否均匀),但已知抛硬币的结果。最简单的例如我们观察到抛了两次硬币结果均正面朝上。也就是说我们观察到一个实验现象(抛两次硬币均正面朝上),同时又我们又知道这个实验的数学模型(正面朝上的概率应该是 $\theta^2$)。那么我们就写出这样一个似然函数:

L ( θ ∣ H H ) = θ 2 L(\theta|HH)=\theta^2 L(θHH)=θ2

不同于概率问题是有结论的;但似然问题最终得到了似然函数看上去没什么用。因此一般而言,似然问题都是为了解决最大似然问题的,也就是在当前观测结果下,估计参数最有可能的值。回到上面例子中,

似然函数是 L = θ 2 L=\theta^2 L=θ2,我们想最大化这个函数,也就是:

arg ⁡ max ⁡ θ L = θ 2 , where  θ ∈ [ 0 , 1 ] \arg\max_\theta L = \theta^2 ,\text{where } \theta \in [0,1] argθmaxL=θ2,where θ[0,1]

很容易能求得,当 θ = 1 \theta=1 θ=1时,L可以取到最大值。也就是说如果只看到抛两次硬币结果都是正面朝上,最有可能的估计就是硬币极不均匀,两面都是正面。补充:只有当实验次数大量时,才能逐渐让 θ \theta θ趋近于合理的0.5。


为了大家更好地区分似然函数和概率函数,再多说几句。

假设一个函数为 a b a^b ab,如果令 b = 2 b=2 b=2,这样就得到了一个二次函数 a 2 a^2 a2;如果令 a = 2 a=2 a=2,这样就得到了一个指数函数 2 b 2^b 2b。可以看到二次函数和指数函数都源自一个函数,但在不同条件下拥有了不同的名称。这也被称作逆反函数。看到这里是不是就发现了似然函数也是概率函数的逆反,原函数都是 P ( x ∣ θ ) P(x|\theta) P(xθ),当 θ \theta θ已知时,它是概率函数;当 x x x已知时,它是似然函数。

参考材料:维基百科知乎

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐