一、初识

在MediaPipe中进行人脸特征点检测,可以使用其提供的预训练模型和库。MediaPipe提供了一个名为"FaceMesh"的模型,用于实时检测人脸的468个特征点。

以下是使用MediaPipe进行人脸特征点检测的基本步骤:

  1. 安装MediaPipe:首先,你需要安装MediaPipe框架。

  2. 设置输入和输出:确定输入数据的来源,可以是摄像头、视频文件或图像。同时,设置输出来存储检测到的人脸特征点。

  3. 创建MediaPipe图:使用MediaPipe框架的API,创建一个图来加载"FaceMesh"模型并处理输入数据。

  4. 运行图:通过将输入数据传递给MediaPipe图的输入节点,并通过图的输出节点获取结果,运行图进行人脸特征点检测。

  5. 处理结果:从输出节点获取检测到的人脸特征点结果,并对其进行进一步的分析或应用程序集成。

MediaPipe的"FaceMesh"模型可以自动定位和识别出人脸图像中的关键特征点,如眼睛、眉毛、鼻子、嘴巴等。我们可以根据需要选择使用特定的特征点。

此外,MediaPipe还提供了其他功能和模型,例如手部检测、姿态估计等。

二、人脸特征点检测

(1)安装环境

pip install opencv-python
pip install mediapipe==0.8.3.1

(2)OpenCV加载视频

代码:

import cv2
import mediapipe as mp
import time

cap = cv2.VideoCapture("Video/6.mp4")  # 加载视频
pTime = 0

while True:
    success, img = cap.read()
    imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

    # 帧数
    cTime = time.time()
    fps = 1 / (cTime - pTime)
    pTime = cTime

    cv2.putText(img, f'FPS:{int(fps)}', (20, 70), cv2.FONT_HERSHEY_PLAIN, 3, (0, 255, 0), 3)
    cv2.imshow("Image", img)
    cv2.waitKey(1)

效果:

附上免费的视频素材网址:Pexels

 (3)特征点检测

代码:

import cv2
import mediapipe as mp
import time

cap = cv2.VideoCapture("Video/6.mp4")  # 加载视频
pTime = 0

mpDraw = mp.solutions.drawing_utils  # drawing_utils模块:绘制特征点和边界框
mpFaceMesh = mp.solutions.face_mesh
faceMesh = mpFaceMesh.FaceMesh(max_num_faces=2)  # 初始化FaceMesh模块
drawSpec = mpDraw.DrawingSpec(thickness=1, circle_radius=2)  # 绘图样式

while True:
    success, img = cap.read()
    imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    results = faceMesh.process(imgRGB)  # process():检测人脸关键点
    # 获取关键点信息
    if results.multi_face_landmarks:
        for faceLms in results.multi_face_landmarks:
            mpDraw.draw_landmarks(img, faceLms, mpFaceMesh.FACE_CONNECTIONS, drawSpec, drawSpec)  # 绘制关键点
            for id, lm in enumerate(faceLms.landmark):
                # print(lm)
                ih, iw, ic = img.shape
                # 关键点坐标
                x, y = int(lm.x * iw), int(lm.y * ih)
                print(id, x, y)
    # 帧数
    cTime = time.time()
    fps = 1 / (cTime - pTime)
    pTime = cTime

    cv2.putText(img, f'FPS:{int(fps)}', (20, 70), cv2.FONT_HERSHEY_PLAIN, 3, (0, 255, 0), 3)
    cv2.imshow("Image", img)
    cv2.waitKey(1)

效果:

三、应用前景

人脸特征点检测在计算机视觉和人工智能领域具有广阔的应用前景。如下:

  1. 人脸识别和身份验证:人脸特征点检测是实现人脸识别和身份验证的基础。通过准确地检测人脸的关键特征点,如眼睛、鼻子、嘴巴等,可以建立人脸的唯一特征表示。这可以用于安全门禁系统、移动设备解锁、在线支付验证等方面。

  2. 表情分析和情感识别:人脸特征点检测可以帮助分析人脸的表情和情感状态。通过检测眼睛、眉毛、嘴角等关键特征点的位置和变化,可以判断人脸表情,如笑容、愤怒、悲伤等。这在社交媒体分析、市场调研、情感识别技术等方面有着广泛的应用。

  3. 人脸美化和虚拟化妆:人脸特征点检测可以用于人脸美化和虚拟化妆的应用。通过识别人脸的关键特征点,可以对面部特征进行分析和修改,如改变眼睛大小、调整嘴型等,实现人脸的美化效果。这在手机应用程序、相机软件和虚拟试妆等领域中非常受欢迎。

  4. 人脸变换和人脸融合:人脸特征点检测可以用于实现人脸变换和人脸融合的效果。通过检测多张人脸的关键特征点,可以将一个人的面部特征应用到另一个人的图像上,实现面部表情、年龄、性别等方面的转换和融合。这在娱乐应用、电影特效和人脸变换软件中有广泛的应用。

  5. 视频分析和人机交互:人脸特征点检测在视频分析和人机交互领域也具有重要作用。通过实时地检测和跟踪人脸的关键特征点,可以实现面部表情识别、手势识别、头部姿态跟踪等功能。这对于增强现实、虚拟现实、游戏开发和用户体验改进等方面都有很大的潜力。 

最后附上进阶篇《OpenCV人眼检测+眨眼计数》,持续迸发。 

GitHub 加速计划 / opencv31 / opencv
77.34 K
55.71 K
下载
OpenCV: 开源计算机视觉库
最近提交(Master分支:1 个月前 )
e1fec156 features2d: fixed out of bounds access in SIFT 20 天前
63087396 - 20 天前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐