一、随机事件

在试验中可能发生也可能不发生的事件，随机事件通常用字母A, B, C表示。

二、概率运算法则

事件独立

若事件A的发生与事件B的发生与否无关，则A, B相互独立：
$$P(A,B)=P(A)P(B)$$
其中$P(A,B)$表示事件A和事件B同时发生的概率。

条件概率

$P(B|A)$表示事件$A$发生的情况下，B发生的概率：
$$P(B|A)=\frac{P(A,B)}{P(A)}$$

全概率公式

将一个复杂的概率事件问题，转化为在不同原因下发生的简单事件概率的求和。

设一个完备事件组$A_1,A_2,...,A_n,...$
$$P(B)=\sum _{i}P(A_i,B)=\sum _{i}P(A_i)P(B|A_i)=P(A_1)P(B|A_1)+...+P(A_n)P(B|A_n)+...$$
也就是说，事件B的发生，是由事件A引起的，所以，穷举所有能够影响B事件的A，一件件列举出来，计算概率，然后求和。

贝叶斯公式

设一个完备事件组$A_1,A_2,...,A_n,...$
$$P(A_i|B)=\frac{P(A_i|B)}{P(B)}=\frac{P(A_i)P(B|A_i)}{{\sum }_{j}P(A_j)P(B|A_j)}$$
也就是当事件B发生，那么这件事是由$A_j$引起的可能性有多大。

三、随机变量

随机变量表示随机试验各种结果的实值单值函数。简单来说，随机变量不是变量，而是一个函数。其能够把随机事件量化。

比如抛硬币，我们把正反面这种概念给量化，设我们的随机变量为$X$:
$$X(正)=1，X(反)=0$$
试验结果的正、反，我们称之为样本点，用$w$表示；其所在空间成为样本空间，记为$S$。于是

离散随机变量和连续随机变量

离散随机变量： 随机变量的取值只有有限个或可数无穷个；
连续随机变量： 随机变量在一定区间内变脸取值有无限个，或数值无法一一列举出来

对于随机变量$X=a$的概率，表示为$P(X=a)$ 或 $P(a)$

四、多维随机变量

设离散变量$X,Y$
离散时：

连续时：
$$P(Y=y)={\int }_{X}P(X,y)dX$$

六、概率分布

用于表述随机变量取值的概率规律。

期望、方差、协方差

数学期望（均值）：用于衡量随机变量取值水平。

设随机变量$X$的概率分布为：
$$P(X=x_i)=p_i$$
则数学期望为
$$\mathbb{E}(X)=\sum _i{x}_i{p}_i=\int xf(x)dx$$
在一些情况下，会直接写成
$$\mathbb{E}(X)=\int Xf(X)dX$$
随机变量函数的数学期望
$$\mathbb{E}(g(X))=\sum _{i=1}^{n}g(x_i)p_i=\int g(x)f(x)dx$$
其中g(X)是关于随机变量X的函数，比如$g(X)=logX$。

数学期望的性质：

• 常数的期望是其本省
• 若$C$是常数，则$\mathbb{E}(C\ast X)=C\ast \mathbb{E}(X)$
• $\mathbb{E}(X_1+X_2)=\mathbb{E}(X_1)+\mathbb{E}(X_2)$
• 如果$X,Y$相互独立，则$\mathbb{E}(X,Y)=\mathbb{E}(X)\mathbb{E}(Y)$

数学期望在一些文章或者论文中常常表示为：
$${\mathbb{E}}_{X\sim P_{data}}[X]$$
意思是我们所求数学期望的随机变量$X$，服从的概率分布为$P_{data}$

还可能写成这样
$${\mathbb{E}}_{X,Y}[X]$$
表示对中括号里面，求随机变量$X,Y$的期望。由于中括号里面只有随机变量$X$，所以关于$Y$求期望，就相当于对常数求期望：
$$\begin{gathered} {\mathbb{E}}_{X,Y}[X]={\int }_{X,Y}X\ast P(X,Y)d(X,Y) \\ ={\int }_X{\int }_{Y}X\ast P(X,Y)dXdY \\ ={\int }_{X}X{\int }_{Y}P(X,Y)dYdX \\ ={\int }_{X}X\ast P(X)dX \\ ={\mathbb{E}}_X[X] \end{gathered}$$
倒数第二行是多维随机变量公式。

方差：用于衡量随机变量取值稳定性。

$$D(X)=\mathbb{E}[X-E(X){]}^2=\mathbb{E}(X^2)-[\mathbb{E}(X){]}^2$$

方差的性质：

• 常数的方差为0；
• 设$C$为常数，$X$为随机变量，则$D(C\ast X)=C^{2}D(X)$
• 设$X,Y$是两个随机变量,则$$D(X\pm Y)=D(X)+D(Y)\pm 2\mathbb{E}\{[X-\mathbb{E}(X)][Y-\mathbb{E}(Y)]\}$$当$X,Y$独立，有$$D(X\pm Y)=D(X)+D(Y)$$

协方差：用于衡量随机变量之间的依赖关系。

假设有随机变量$X,Y$，其协方差表示为：
$$cov(X,Y)=\mathbb{E}[X-E(X)][Y-E(Y)]$$

七、极大似然估计

就是根据样本数据，来估计出分布中可能性最大的参数。

具体步骤如下：

• 写出似然函数；
• 对似然函数取对数，并整理；
• 关于参数求导数；
• 解似然方程得到参数的值。

似然函数：离散的时候，就等于$P(x|\theta )$，而连续的时候，则是其密度函数$f(x|\theta )$。（常常省略参数$\theta$）
其中，里面的$\theta$表示所要求的概率分布的参数。

极大似然估计有一个假设：样本之间独立同分布。

八、信息熵

描述信息源各可能事件发生的不确定性。
$$H(X)=-\sum _{i=1}^{n}P(x_i)lo{g}_{2}P(x_i)=-E[lo{g}_{2}P(X)]$$

九、KL散度（相对熵）

一种用于衡量两个概率分布之间的差异的指标。
$$KL(q||p)=\sum q(x)log\frac{q(x)}{p(x)}=\int q(x)log\frac{q(x)}{p(x)}dx$$

性质：非负性，始终大于等于0，等于0表示两个概率分布相等；
性质：非对称性，$KL(q||p)$不等于$KL(p||q)$。