全景图拼接

思路

这个就是简单对左右两张图进行拼接，希望实现下面效果：

这里不是指严丝合缝的可以直接拼接的图，比如
如下面两个图：（以中间那个仙人掌（貌似）为指标，可见第一张图应该位于全景图的左边，第二张图位于全景图右边）

想要实现效果（简单拼接成全景图，其实融合的不太好）：

我们需要：

• 找两张图片中相似的点，计算变换矩阵
• 变换一张图片放到另一张图片合适的位置

1.SIFT确定关键点
2.对两张图做特征匹配
3.要实现两张图片的简单拼接，其实只需找出两张图片中相似的点 (至少四个，因为 homography 矩阵的计算需要至少四个点)， 计算一张图片可以变换到另一张图片的变换矩阵 (homography 单应性矩阵)，用这个矩阵把那张图片变换后放到另一张图片相应的位置 ( 就是相当于把两张图片中定好的四个相似的点給重合在一起)。如此，就可以实现简单的全景拼接。
注意：下面代码都是对右图计算变换矩阵的，最终将左图拼接上去即可实现简单的全景拼接

具体步骤

（1）检测左右2图片的SIFT关键特征点，并计算特征描述
（2）使用KNN检测来自左右2图的SIFT特征，进行匹配
（3）计算视角变换矩阵H，用变换矩阵H对右图进行变换
（4）左图加入到变换后的图像获得最终图像

代码与结果

代码

import cv2
import numpy as np

def cvshow(name,img):
    cv2.imshow(name,img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

def sift_kp(image):
    gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    sift = cv2.xfeatures2d.SIFT_create()
    kp, des = sift.detectAndCompute(image, None)
    kp_image = cv2.drawKeypoints(gray_image, kp, None)
    return kp_image, kp, des


def get_good_match(des1, des2):
    bf = cv2.BFMatcher()
    matches = bf.knnMatch(des1, des2, k=2)  # des1为模板图，des2为匹配图
    matches = sorted(matches, key=lambda x: x[0].distance / x[1].distance)
    good = []
    for m, n in matches:
        if m.distance < 0.75 * n.distance:
            good.append(m)
    return good

def drawMatches(imageA, imageB, kpsA, kpsB, matches, status):
    # 初始化可视化图片，将A、B图左右连接到一起
    (hA, wA) = imageA.shape[:2]
    (hB, wB) = imageB.shape[:2]
    vis = np.zeros((max(hA, hB), wA + wB, 3), dtype="uint8")
    vis[0:hA, 0:wA] = imageA
    vis[0:hB, wA:] = imageB

    # 联合遍历，画出匹配对
    for ((trainIdx, queryIdx), s) in zip(matches, status):
        # 当点对匹配成功时，画到可视化图上
        if s == 1:
            # 画出匹配对
            ptA = (int(kpsA[queryIdx][0]), int(kpsA[queryIdx][1]))
            ptB = (int(kpsB[trainIdx][0]) + wA, int(kpsB[trainIdx][1]))
            cv2.line(vis, ptA, ptB, (0, 255, 0), 1)

    # 返回可视化结果
    return vis


# 全景拼接
def siftimg_rightlignment(img_right, img_left):
    _, kp1, des1 = sift_kp(img_right)
    _, kp2, des2 = sift_kp(img_left)
    goodMatch = get_good_match(des1, des2)
    # 当筛选项的匹配对大于4对时：计算视角变换矩阵
    if len(goodMatch) > 4:
        # 获取匹配对的点坐标
        ptsA = np.float32([kp1[m.queryIdx].pt for m in goodMatch]).reshape(-1, 1, 2)
        ptsB = np.float32([kp2[m.trainIdx].pt for m in goodMatch]).reshape(-1, 1, 2)
        ransacReprojThreshold = 4
        H, status = cv2.findHomography(ptsA, ptsB, cv2.RANSAC, ransacReprojThreshold)
        #  该函数的作用就是先用RANSAC选择最优的四组配对点，再计算H矩阵。H为3*3矩阵

        # 将图片右进行视角变换，result是变换后图片
        result = cv2.warpPerspective(img_right, H, (img_right.shape[1] + img_left.shape[1], img_right.shape[0]))
        cvshow('result_medium', result)
        # 将图片左传入result图片最左端
        result[0:img_left.shape[0], 0:img_left.shape[1]] = img_left
        return result
      
# 特征匹配＋全景拼接
import numpy as np
import cv2

# 读取拼接图片（注意图片左右的放置）
# 是对右边的图形做变换
img_right = cv2.imread(r'd:/right1.jpg')
img_left = cv2.imread(r'd:/left1.jpg')

img_right = cv2.resize(img_right,None,fx=0.5,fy=0.3)
# 保证两张图一样大
img_left = cv2.resize(img_left,(img_right.shape[1],img_right.shape[0]))


kpimg_right, kp1, des1 = sift_kp(img_right)
kpimg_left, kp2, des2 = sift_kp(img_left)

# 同时显示原图和关键点检测后的图
cvshow('img_left',np.hstack((img_left,kpimg_left)))
cvshow('img_right',np.hstack((img_right,kpimg_right)))
goodMatch = get_good_match(des1, des2)

all_goodmatch_img= cv2.drawMatches(img_right, kp1, img_left, kp2, goodMatch, None, flags=2)

# goodmatch_img自己设置前多少个goodMatch[:10]
goodmatch_img = cv2.drawMatches(img_right, kp1, img_left, kp2, goodMatch[:10], None, flags=2)


cvshow('Keypoint Matches1', all_goodmatch_img)
cvshow('Keypoint Matches2', goodmatch_img)


# 把图片拼接成全景图
result=siftimg_rightlignment(img_right,img_left)
cvshow('result',result)

效果测试1

用开始的图片测试（也是网上使用较多的图）：
左图SIFT特征检测：

右图SIFT特征检测：

特征匹配：

中间结果：

最终全景拼接：

其实可以看出有痕迹，暂时没有解决，基本满意结果

效果测试2

自己另拍图试了一下，也可。

--------EchoZhang----2020/04/02–今天貌似比较顺------------