1. 向量的点积与叉积

1.1 向量的点积

数量积又称标量积（Scalar product）、点积（Dot product），在欧几里得空间（Euclidean space）中称为内积（Inner product），对应元素相乘相加，结果是一个标量（即一个数）。

对于向量$\vec{a}=\left(a_1,a_2\right)，\vec{b}=\left(b_1,b_2\right)$，两者的数量积：$$\vec{a}\cdot \vec{b}=a_1{b}_1+a_2{b}_2$$ $\vec{a}\cdot \vec{b}$的几何意义是$\vec{a}$在$\vec{b}$方向上的投影（仅在二维、三维空间向量有意义）：$$\vec{a}\cdot \vec{b}=\left|\vec{a}\right|\ast |\vec{b}|\ast cos\theta$$其中，$\left|\vec{a}\right|$ 、$|\vec{b}|$分别为向量$\vec{a}$、$\vec{b}$的模，$\theta$为向量$\vec{a}$、$\vec{b}$的夹角。

对于 $n$维向量 $\vec{a}=\left(a_1,a_1,...,a_n\right)，\vec{b}=\left(b_1,b_2,...,b_n\right)$，两者的数量积：$$\vec{a}\cdot \vec{b}=a_1{b}_1+a_2{b}_2+...+a_n{b}_n$$

numpy中 使用np.dot或numpy.inner()实现向量的点积

举例$$\vec{a}=(1,2,3)\vec{b}=(4,5,6)$$$$\vec{a}\cdot \vec{b}=1\times 4+2\times 5+3\times 6=32$$

import numpy as np 
a = np.array([1,2,3])
b = np.array([4,5,6])
## 数量积  使用np.dot或np.inner
print(np.dot(a,b))

1.2 向量的叉积

向量积又称矢量积（Vector product）、叉积（Cross product）、外积（Outer product），结果是一个向量。

对于向量$\vec{a}=\left(a_1,a_2,a_3\right)\vec{b}=\left(b_1,b_2,b_3\right)$，两者的叉积为$\vec{a}$和$\vec{b}$的法向量，该向量垂直于$\vec{a}$和$\vec{b}$构成的平面。$$\vec{a}\times \vec{b}=\left|\begin{array}{ccc}i& j& k\\ a_1& a_2& a_3\\ b_1& b_2& b_3\end{array}\right|=(a_2{b}_3-b_2{a}_3)\vec{i}-(a_1{b}_3-b_1{a}_3)\vec{j}+(a_1{b}_2-b_1{a}_2)\vec{k}$$其中，$i，j，k$分别是$X，Y，Z$轴方向的单位向量.

该向量的模$$|\vec{a}\times \vec{b}|=\left|\vec{a}\right|\ast |\vec{b}|\ast sin\theta$$其中，$\left|\vec{a}\right|$ 、$|\vec{b}|$分别为向量$\vec{a}$、$\vec{b}$的模，$\theta$为向量$\vec{a}$、$\vec{b}$的夹角。

即，叉积的长度$|\vec{a}\times \vec{b}|$为向量$\vec{a}$、$\vec{b}$共起点时，构成平行四边形的面积。

numpy中 使用np.cross实现向量的叉积

举例$$\vec{a}=(1,2,3)\vec{b}=(4,5,6)$$$$\vec{a}\cdot \vec{b}=(2\times 6-3\times 5,4\times 3-1\times 6,1\times 5-2\times 4)=(-3,6,-3)$$

import numpy as np 
a = np.array([1,2,3])
b = np.array([4,5,6])
## 叉积  使用np.cross
print(np.cross(a,b))

点积与叉积小结：

名称	点积/数量积/标量积/内积/	叉积/向量积/矢量积/外积
输入（以$R^3$为例）	$\vec{a}=\left(a_1,a_2,a_3\right),\vec{b}=\left(b_1,b_2,b_3\right)$	$\vec{a}=\left(a_1,a_2,a_3\right),\vec{b}=\left(b_1,b_2,b_3\right)$
运算	$$\vec{a}\cdot \vec{b}=a_1{b}_1+a_2{b}_2+a_3{b}_3$$	$$\vec{a}\times \vec{b}=\left|\begin{array}{ccc}i& j& k\\ a_1& a_2& a_3\\ b_1& b_2& b_3\end{array}\right|$$
输出	数值（标量）：$\vec{a}$在$\vec{b}$方向上的投影与$|\vec{b}|$的乘积，即 $|\vec{a}|\ast |\vec{b}|\ast cos\theta$	向量（矢量）：$\vec{a}$和$\vec{b}$的法向量，该向量的模为 $|\vec{a}|\ast |\vec{b}|\ast sin\theta$

注：数量、向量常用于数学；而标量、矢量常用于物理

2 矩阵的点积与叉积

2.1 矩阵的点积

对于$A$矩阵（$m\times s$阶），$B$矩阵（$s\times n$阶）（A的列数与B的行数相等），
$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1s}\\ a_{21}& a_{22}& \cdots & a_{2s}\\ \cdots & \cdots & \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{ms}\end{array}\right]B=\left[\begin{array}{cccc}{b}_{11}& b_{12}& \cdots & b_{1n}\\ b_{21}& b_{22}& \cdots & b_{2n}\\ \cdots & \cdots & \ddots & ⋮\\ b_{s1}& b_{s2}& \cdots & b_{sn}\end{array}\right]$$两者的点积，即矩阵相乘的结果$C=AB$是$m\times n$阶矩阵，
$$C=AB=\left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ \cdots & \cdots & \ddots & ⋮\\ c_{m1}& c_{m2}& \cdots & c_{mn}\end{array}\right]$$其中，矩阵$C$中的元素满足$$c_{ij}=\sum _{k=1}^s{a}_{ik}{b}_{kj}$$举例$$A_1=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]B_1=\left[\begin{array}{cc}5& 6\\ 7& 8\end{array}\right]，A_2=\left[\begin{array}{ccc}1& 2& 3\\ 1& 2& 3\end{array}\right]B_2=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$$$$A_1{B}_1=\left[\begin{array}{cc}19& 22\\ 43& 50\end{array}\right]，A_2{B}_2=\left[\begin{array}{cc}14& 14\end{array}\right]$$numpy实现

import numpy as np 
A1 = np.array([[1,2],[3,4]])
B2 = np.array([[5,6],[7,8]])
A2 = np.array([[1,2,3],[1,2,3]])
B2 = np.array([1,2,3])
## 数量积  使用np.dot
print(np.dot(A1,B1))
print(np.dot(A2,B2))

此外，numpyt提供了numpy.inner()函数，从字面意思理解是内积，其针对向量numpy.inner()与numpy.dot()输出一致，但针对矩阵有所不同。

print(np.inner(A1,B1))

输出为$$\left[\begin{array}{cc}17& 23\\ 39& 53\end{array}\right]$$
其中，$$17=1\times 5+2\times 6，23=1\times 7+2\times 8$$$$39=3\times 5+4\times 6，53=3\times 7+4\times 8$$

print(np.inner(A2,B2))

输出为$$\left[\begin{array}{cc}14& 14\end{array}\right]$$

2.2 矩阵的叉积

针对矩阵并不存在叉积的概念，numpy中针对矩阵的叉积运算是按照向量的叉积进行运算。

举例
$$A_1=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]B_1=\left[\begin{array}{cc}5& 6\\ 7& 8\end{array}\right]，A_2=\left[\begin{array}{ccc}1& 2& 3\\ 1& 2& 3\end{array}\right]B_2=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$$$$A_1\times B_1=\left[\begin{array}{cc}-4& -4\end{array}\right]，A_2\times B_2=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\end{array}\right]$$numpy实现

import numpy as np 
A1 = np.array([[1,2],[3,4]])
B1 = np.array([[5,6],[7,8]])
A2 = np.array([[1,2,3],[1,2,3]])
B2 = np.array([1,2,3])
## 叉积  使用np.cross
print(np.cross(A1,B1))
print(np.cross(A2,B2))

3. 元素积

元素积(element-wise product, point-wise product）又称哈达玛积（Hadamard product )、舒尔积、逐项积，对应元素相乘，结果还是向量/矩阵。

对于 $n$维向量 $\vec{a}=\left(a_1,a_1,...,a_n\right)，\vec{b}=\left(b_1,b_2,...,b_n\right)$，两者的元素积：$$\vec{a}\ast \vec{b}=(a_1{b}_1,a_2{b}_2,...,a_n{b}_n)$$对于同阶矩阵($m\times n$）$A$、$B$，两者的哈达玛(Hadamard)积：$$A\circ B=\left[\begin{array}{cccc}{a}_{11}{b}_{11}& a_{12}{b}_{12}& \cdots & a_{1n}{b}_{1n}\\ a_{21}{b}_{21}& a_{22}{b}_{22}& \cdots & a_{2n}{b}_{2n}\\ \cdots & \cdots & \ddots & ⋮\\ a_{m1}{b}_{m1}& a_{m2}{b}_{m2}& \cdots & a_{mn}{b}_{mn}\end{array}\right]$$

numpy中 使用np.multiply或*实现元素积

举例

向量：$$\vec{a}=(1,2,3)\vec{b}=(4,5,6)$$ $$\vec{a}\circ \vec{b}=(4,10,18)$$矩阵：$$A_1=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]B_1=\left[\begin{array}{cc}5& 6\\ 7& 8\end{array}\right]，A_2=\left[\begin{array}{ccc}1& 2& 3\\ 1& 2& 3\end{array}\right]B_2=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$$$$A_1\circ B_1=\left[\begin{array}{cc}5& 12\\ 21& 32\end{array}\right]，A_2\circ B_2=\left[\begin{array}{ccc}1& 4& 9\\ 1& 4& 9\end{array}\right]$$

import numpy as np 
a = np.array([1,2,3])
b = np.array([4,5,6])
A1 = np.array([[1,2],[3,4]])
B1 = np.array([[5,6],[7,8]])
A2 = np.array([[1,2,3],[1,2,3]])
B2 = np.array([1,2,3])
## 数量积  使用np.multiply或*
print(np.multiply(a,b))
print(np.multiply(A1,B1))
print(np.multiply(A2,B2)) #阶数不一致的，numpy将进行广播确保一致

4. 克罗内克积

克罗内克积（Kronecker product）是两个任意大小的矩阵间的运算。

对于对于$A$矩阵（$m\times n$阶），$B$矩阵（$p\times q$阶）：$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \cdots & \cdots & \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]B=\left[\begin{array}{cccc}{b}_{11}& b_{12}& \cdots & b_{1q}\\ b_{21}& b_{22}& \cdots & b_{2q}\\ \cdots & \cdots & \ddots & ⋮\\ b_{p1}& b_{p2}& \cdots & b_{pq}\end{array}\right]$$两者的克罗内克积$C=A\otimes B$是$mp\times nq$阶的分块矩阵:$$C=A\otimes B=\left[\begin{array}{cccc}{a}_{11}B& a_{12}B& \cdots & a_{1n}B\\ a_{21}B& a_{22}B& \cdots & a_{2n}B\\ \cdots & \cdots & \ddots & ⋮\\ a_{m1}B& a_{m2}B& \cdots & a_{mn}B\end{array}\right]$$$$=\left[\begin{array}{cccccccccc}{a}_{11}{b}_{11}& a_{11}{b}_{12}& \cdots & a_{11}{b}_{1q}& \cdots & \cdots & a_{1n}{b}_{11}& a_{1n}{b}_{12}& \cdots & a_{1n}{b}_{1q}\\ a_{11}{b}_{21}& a_{11}{b}_{22}& \cdots & a_{11}{b}_{2q}& \cdots & \cdots & a_{1n}{b}_{21}& a_{1n}{b}_{22}& \cdots & a_{1n}{b}_{2q}\\ ⋮& ⋮& \ddots & ⋮& & & ⋮& ⋮& \ddots & ⋮\\ a_{11}{b}_{p1}& a_{11}{b}_{p2}& \cdots & a_{11}{b}_{pq}& \cdots & \cdots & a_{1n}{b}_{p1}& a_{1n}{b}_{p2}& \cdots & a_{1n}{b}_{pq}\\ ⋮& ⋮& & ⋮& \ddots & & ⋮& ⋮& & ⋮\\ ⋮& ⋮& & ⋮& & \ddots & ⋮& ⋮& & ⋮\\ a_{m1}{b}_{11}& a_{m1}{b}_{12}& \cdots & a_{m1}{b}_{1q}& \cdots & \cdots & a_{mn}{b}_{11}& a_{mn}{b}_{12}& \cdots & a_{mn}{b}_{1q}\\ a_{m1}{b}_{21}& a_{m1}{b}_{22}& \cdots & a_{m1}{b}_{2q}& \cdots & \cdots & a_{mn}{b}_{21}& a_{mn}{b}_{22}& \cdots & a_{mn}{b}_{2q}\\ ⋮& ⋮& \ddots & ⋮& & & ⋮& ⋮& \ddots & ⋮\\ a_{m1}{b}_{p1}& a_{m1}{b}_{p2}& \cdots & a_{m1}{b}_{pq}& \cdots & \cdots & a_{mn}{b}_{p1}& a_{mn}{b}_{p2}& \cdots & a_{mn}{b}_{pq}\end{array}\right]$$

numpy中 使用np.kron实现

举例$$A_1=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]B_1=\left[\begin{array}{c}4\\ 5\\ 6\end{array}\right]A_2=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]B_2=\left[\begin{array}{cc}5& 6\\ 7& 8\end{array}\right]A_3=\left[\begin{array}{ccc}1& 2& 3\\ 1& 2& 3\end{array}\right]B_3=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$$$$A_1\otimes B_1={\left[\begin{array}{ccccccccc}4& 5& 6& 8& 10& 12& 12& 15& 18\end{array}\right]}^T$$$$A_2\otimes B_2=\left[\begin{array}{cccc}5& 6& 10& 12\\ 7& 8& 14& 16\\ 15& 18& 20& 24\\ 21& 24& 28& 32\end{array}\right]$$$$A_3\otimes B_3={\left[\begin{array}{ccccccccc}1& 2& 3& 2& 4& 6& 3& 6& 9\\ 1& 2& 3& 2& 4& 6& 3& 6& 9\end{array}\right]}^T$$

import numpy as np 
A1 = np.array([1,2,3])
B1 = np.array([4,5,6])
A2 = np.array([[1,2],[3,4]])
B2 = np.array([[5,6],[7,8]])
A3 = np.array([[1,2,3],[1,2,3]])
B3 = np.array([1,2,3])
## 克罗内克积  使用np.kron
print(np.kron(A1,B1))
print(np.kron(A2,B2))
print(np.kron(A3,B3))