前言

由于相机的镜头并不完全理想，成像时会产生线条扭曲、失真等。对双目图像、鸟瞰图等进行处理时，首先要矫正去畸变。

镜头成像畸变原因

相机的镜头前有一块透镜，由于透镜的形状，当光线穿过透镜时，靠近光轴的光线折射比远离光轴的折射要小，就会产生径向畸变，此时真实世界中的直线在图像中会被弯曲，往外弯曲是枕形畸变，如下图（b），往里弯曲是桶形畸变，如下图（c）
由于透镜不可能完全与相机里的成像面平行，就会造成切向畸变

去畸变方法

假设归一化平面上的点P(x, y)，可用极坐标(r, θ)表示，r就是P与归一化平面原点之间的距离，径向畸变就可以视为坐标点沿着距离方向发生改变，可以用畸变参数k1，k2，k3来修正；切向畸变可以看作坐标点的水平夹角发生改变。用多项式进行畸变拟合：
$$\begin{gathered} {x}_{distort}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6+2p_{1}xy+p_2(r^2+2x^2)) \\ {y}_{distort}=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6+p_1(r^2+2y^2)+2p_{2}xy) \end{gathered}$$
将这些畸变后的点在像素平面上的坐标计算出来：
$$\begin{gathered} u=f_x{x}_{distort}+c_x \\ v=f_y{y}_{distort}+c_y \end{gathered}$$
然后把畸变后的像素放回原本的位置，即去除了畸变。

python去畸变

输入

一张工厂灰度图，由于畸变导致部分直线条明显被弯曲了

代码

采用cv2.undistort(path, P, K)函数去畸变
其中img表示输入图，P是3x3 numpy数组表示相机内参，K是1x1 numpy数组表示畸变参数[k1, k2, p1, p2, k3=None, k4=None, k5=None, k6=None]

import cv2
import numpy as np

img = cv2.imread('distorted.png')
P = [[458.654, 0, 367.215],
     [0, 457.296, 248.375],
     [0, 0, 1]]
K = [-0.28340811, 0.07395907, 0.00019359, 1.76187114e-05]
img_distort = cv2.undistort(img, np.array(P), np.array(K))
img_diff = cv2.absdiff(img, img_distort)
cv2.imshow('img', img)
cv2.imshow('img_distort', img_distort)
cv2.imshow('img_absdiff', img_diff)
cv2.imwrite('distorted_res.png', img_distort)
cv2.waitKey(0)

结果

矫正后的图像如下，可见弯曲的线都恢复正常了，但原图部分像素没有还原（落在了矫正后图像的外面）