参考：浅谈全概率公式和贝叶斯公式

先验概率

先验概率是基于背景常识或者历史数据的统计得出的预判概率，一般只包含一个变量，例如P(A)，P(B)。

联合概率

联合概率指的是事件同时发生的概率，例如现在A,B两个事件同时发生的概率，记为P(A,B)、P(A∩B)、P(AB)。

若事件A和事件B相互独立，则有：

                                                           
例如将明晴天设置为事件A，其发生的概率为0.5，明天中彩票的概率为事件B，其概率为0.001，由于事件A和B并没有什么影响，是相互独立的，那么明天既是晴天也中奖的概率就是P(A)P(B) = 0.0005

条件概率

条件概率是表示一个事件发生后另一个事件发生的概率，一般情况下B表示某一个因素，A表示结果，P(A|B)表示在因素B的条件下A发生的概率，即由因求果。其计算公式如下。

                                                      

其中，P (A∩B) 就是前面所述的联合概率。在A与B相互独立的情况下，易得:

                                        

即B的发生对A没有任何影响

后验概率

后验概率是由果求因，也就是在知道结果的情况下求原因的概率，例如Y事件是X引起的，那么P(X|Y)就是后验概率，也可以说它是事件发生后的反向条件概率。

我一直分不清条件概率和后验概率，因为两者的表达太相近了，实际上后验概率就是条件概率，只不过条件概率是由因求果，而后验概率是由果求因，比如：

有一个信号的发射端和接收端。发射端只发射A、B两种信号，其中发射信号A的概率为0.6，发射信号B的概率为0.4。当发射信号A时，接收端接收到信号A的概率是0.9，接收到信号B的概率是0.1。当发射信号B时，接收端接收到信号B的概率为0.8，接收到信号A的概率为0.2。求当接收到信号A时，发射信号为A的概率。

这里先验概率为P(发射A) = 0.6   P(发射B) = 0.4

P(收到A|发射A) = 0.9 ，这个就是条件概率了，因为原因是发射A，只有发射A才有接收到A这个结果

反过来P(发射A|收到A)当接收到信号A时，发射信号为A的概率，也就是我们要求的，是后验概率，用贝叶斯公式可求

全概率公式

先举个例子，小张从家到公司上班总共有三条路可以直达（如下图），但是每条路每天拥堵的可能性不太一样，由于路的远近不同，选择每条路的概率如下：

每天上述三条路不拥堵的概率分别为：

假设遇到拥堵会迟到，那么小张从Home到Company不迟到的概率是多少？

其实不迟到就是对应着不拥堵，设事件Ｃ为到公司不迟到，事件为选择第i条路，则：

全概率就是表示达到某个目的，有多种方式（或者造成某种结果，有多种原因），问达到目的的概率是多少（造成这种结果的概率是多少）？

设事件是一个完备事件组，则对于任意一个事件Ｃ，若有如下公式成立：

那么就称这个公式为全概率公式

贝叶斯公式

仍旧借用上述的例子，但是问题发生了改变，问题修改为：到达公司未迟到选择第１条路的概率是多少？

可不是，因为0.5这个概率表示的是，选择第一条路的时候并没有靠考虑是不是迟到，只是因为距离公司近才知道选择它的概率，而现在我们是知道未迟到这个结果，是在这个基础上问你选择第一条路的概率，所以并不是直接就可以得出的。这时就需要采用贝叶斯公式。

我们来看条件概率的计算公式 ：

                                                                                    

该式子表示B发生情况下A发生的概率，则有:

                                                                                  

那么相应地A发生情况下B发生的概率为：

                                                                                      

则有: 

                                                                                    

所以有:

                                                                              

最终得到贝叶斯公式：

                                                                                       

用在上题有：

所以选择第一条路的概率为0.28．

贝叶斯公式就是当已知结果，问导致这个结果的第i原因的可能性是多少？

贝叶斯公式的特点就是能够通过条件概率和全概率求后验概率：

对于前面信号收发题，采用贝叶斯公式计算如下：

小结 

• 条件概率：B发生的情况下A发生，往往B是因素，A是结果-----由因索果
• 后验概率：在形式上与条件概率相同，A发生的情况下B发生，往往A是结果，B是可能产生这一结果的某一因素---由果索因
• 后验概率可以通过[贝叶斯公式]来求，即贝叶斯公式是求取后验概率的方法。