贝叶斯估计

        贝叶斯估计：从参数的先验知识和样本出发。

        不同于ML估计，不再把参数θ看成一个未知的确定变量，而是看成未知的随机变量，通过对第i类样本D_i的观察，使概率密度分布P(D_i|θ)转化为后验概率P(θ|D_i)，再求贝叶斯估计。

        假设：将待估计的参数看作符合某种先验概率分布的随机变量。

        基本原理：

        我们期望在真实的θ值处有一个尖峰。

 

        贝叶斯估计的本质：贝叶斯估计的本质是通过贝叶斯决策得到参数θ的最优估计，使得总期望风险最小。

        损失函数：通常规定函数是一个二次函数，即平方误差损失函数：

        可以证明，如果采用平方误差损失函数，则θ的贝叶斯估计值是在给定x时θ的条件期望。

        同理可得，在给定样本集D下，θ的贝叶斯估计值是：

        

        例子：正态分布情况，参数θ仅有均值μ未知，而方差已知。给定样本D，，均值变量的先验分布。求μ的后验概率。