1. 问题描述

用 Python 通过 OpenCV显示摄像头画面时,如果对视频帧进行一些处理,常常会遇到一个问题,显示的画面比眼睛看到真实场景慢几秒甚至更多,给用户的体验不好。
在这里插入图片描述

画面延迟与卡顿的区别
卡顿是指视频播放时,出现一顿一顿的现象,不流畅,通常每秒播放速率少于10帧就可以感受到。 延迟是显示的画面比实际的场景慢了一段时间,不同步,但可能是流畅的。摄像头画面出现卡顿,通常也会造成延迟。

关于画面卡顿的原因及解决方案,不是本文讨论范围,但本人另1篇文章可能对此有帮助, 可参阅 用Numba加速OpenCV Python视频处理代码,提升6.5倍性能

2. 画面延迟原因

在视频处理应用程序中,由于对图像帧进行处理,通常会消耗一些时间,而OpenCV低层读帧时有缓存队列,会保存未取出的图像,用 read()方法读出的,可能是缓存里的旧帧,不是摄像头当前的帧。缓存中的帧较多时,就出现了明显的延迟。

解决方法

自定义1个无缓存读视频的VideoCapture接口类,来代替OpenCV的VideoCapture类。
开发步骤:
1) 建立1个队列queue
2) 开启1个子线程, 实时读取摄像头视频帧,队列中总是保存最后一帧,删除旧帧。
3) 显示时,从新接口类的队列中读取帧。

实现代码

import cv2
import queue
import threading
import time

# 自定义无缓存读视频类
class VideoCapture:
    """Customized VideoCapture, always read latest frame """
    
    def __init__(self, camera_id):
        # "camera_id" is a int type id or string name
        self.cap = cv2.VideoCapture(camera_id)
        self.q = queue.Queue(maxsize=3)
        self.stop_threads = False    # to gracefully close sub-thread
        th = threading.Thread(target=self._reader)
        th.daemon = True             # 设置工作线程为后台运行
        th.start()

    # 实时读帧,只保存最后一帧
    def _reader(self):
        while not self.stop_threads:
            ret, frame = self.cap.read()
            if not ret:
                break
            if not self.q.empty():
                try:
                    self.q.get_nowait() 
                except queue.Empty:
                    pass
            self.q.put(frame)

    def read(self):
        return self.q.get()
    
    def terminate(self):
        self.stop_threads = True
        self.cap.release()

if __name__ == "__main__":        
    # 测试自定义VideoCapture类
    cap = VideoCapture(0)
    while True:
        frame = cap.read()
        time.sleep(0.05)   # 模拟耗时操作,单位:秒   
        cv2.imshow("frame", frame)
        if chr(cv2.waitKey(1)&255) == 'q':  # 按 q 退出
            cap.terminate()
            break

使用上述方式,即使对视频帧处理时间过长,出现卡顿,由于新类会将未处理的帧丢弃,总是读取摄像头当前帧,因此消除了延迟,画面还是实时的。

实际应用时,可在本例代码基础上,进行优化。

GitHub 加速计划 / opencv31 / opencv
77.35 K
55.71 K
下载
OpenCV: 开源计算机视觉库
最近提交(Master分支:1 个月前 )
08f7f13d Move the gcc6 compatibility check to occur on a per-directory basis, … #26234 Proposed fix for #26233 https://github.com/opencv/opencv/issues/26233 ### Pull Request Readiness Checklist See details at https://github.com/opencv/opencv/wiki/How_to_contribute#making-a-good-pull-request - [x] I agree to contribute to the project under Apache 2 License. - [x] To the best of my knowledge, the proposed patch is not based on a code under GPL or another license that is incompatible with OpenCV - [x] The PR is proposed to the proper branch - [x] There is a reference to the original bug report and related work - [ ] There is accuracy test, performance test and test data in opencv_extra repository, if applicable Patch to opencv_extra has the same branch name. - [ ] The feature is well documented and sample code can be built with the project CMake 2 天前
0f234209 Added buffer-based model loading to FaceRecognizerSF 3 天前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐