Opencv+Mediapipe->人脸特征点检测
一、初识
在MediaPipe中进行人脸特征点检测,可以使用其提供的预训练模型和库。MediaPipe提供了一个名为"FaceMesh"的模型,用于实时检测人脸的468个特征点。
以下是使用MediaPipe进行人脸特征点检测的基本步骤:
-
安装MediaPipe:首先,你需要安装MediaPipe框架。
-
设置输入和输出:确定输入数据的来源,可以是摄像头、视频文件或图像。同时,设置输出来存储检测到的人脸特征点。
-
创建MediaPipe图:使用MediaPipe框架的API,创建一个图来加载"FaceMesh"模型并处理输入数据。
-
运行图:通过将输入数据传递给MediaPipe图的输入节点,并通过图的输出节点获取结果,运行图进行人脸特征点检测。
-
处理结果:从输出节点获取检测到的人脸特征点结果,并对其进行进一步的分析或应用程序集成。
MediaPipe的"FaceMesh"模型可以自动定位和识别出人脸图像中的关键特征点,如眼睛、眉毛、鼻子、嘴巴等。我们可以根据需要选择使用特定的特征点。
此外,MediaPipe还提供了其他功能和模型,例如手部检测、姿态估计等。
二、人脸特征点检测
(1)安装环境
pip install opencv-python
pip install mediapipe==0.8.3.1
(2)OpenCV加载视频
代码:
import cv2
import mediapipe as mp
import time
cap = cv2.VideoCapture("Video/6.mp4") # 加载视频
pTime = 0
while True:
success, img = cap.read()
imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
# 帧数
cTime = time.time()
fps = 1 / (cTime - pTime)
pTime = cTime
cv2.putText(img, f'FPS:{int(fps)}', (20, 70), cv2.FONT_HERSHEY_PLAIN, 3, (0, 255, 0), 3)
cv2.imshow("Image", img)
cv2.waitKey(1)
效果:
附上免费的视频素材网址:Pexels
(3)特征点检测
代码:
import cv2
import mediapipe as mp
import time
cap = cv2.VideoCapture("Video/6.mp4") # 加载视频
pTime = 0
mpDraw = mp.solutions.drawing_utils # drawing_utils模块:绘制特征点和边界框
mpFaceMesh = mp.solutions.face_mesh
faceMesh = mpFaceMesh.FaceMesh(max_num_faces=2) # 初始化FaceMesh模块
drawSpec = mpDraw.DrawingSpec(thickness=1, circle_radius=2) # 绘图样式
while True:
success, img = cap.read()
imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
results = faceMesh.process(imgRGB) # process():检测人脸关键点
# 获取关键点信息
if results.multi_face_landmarks:
for faceLms in results.multi_face_landmarks:
mpDraw.draw_landmarks(img, faceLms, mpFaceMesh.FACE_CONNECTIONS, drawSpec, drawSpec) # 绘制关键点
for id, lm in enumerate(faceLms.landmark):
# print(lm)
ih, iw, ic = img.shape
# 关键点坐标
x, y = int(lm.x * iw), int(lm.y * ih)
print(id, x, y)
# 帧数
cTime = time.time()
fps = 1 / (cTime - pTime)
pTime = cTime
cv2.putText(img, f'FPS:{int(fps)}', (20, 70), cv2.FONT_HERSHEY_PLAIN, 3, (0, 255, 0), 3)
cv2.imshow("Image", img)
cv2.waitKey(1)
效果:
三、应用前景
人脸特征点检测在计算机视觉和人工智能领域具有广阔的应用前景。如下:
-
人脸识别和身份验证:人脸特征点检测是实现人脸识别和身份验证的基础。通过准确地检测人脸的关键特征点,如眼睛、鼻子、嘴巴等,可以建立人脸的唯一特征表示。这可以用于安全门禁系统、移动设备解锁、在线支付验证等方面。
-
表情分析和情感识别:人脸特征点检测可以帮助分析人脸的表情和情感状态。通过检测眼睛、眉毛、嘴角等关键特征点的位置和变化,可以判断人脸表情,如笑容、愤怒、悲伤等。这在社交媒体分析、市场调研、情感识别技术等方面有着广泛的应用。
-
人脸美化和虚拟化妆:人脸特征点检测可以用于人脸美化和虚拟化妆的应用。通过识别人脸的关键特征点,可以对面部特征进行分析和修改,如改变眼睛大小、调整嘴型等,实现人脸的美化效果。这在手机应用程序、相机软件和虚拟试妆等领域中非常受欢迎。
-
人脸变换和人脸融合:人脸特征点检测可以用于实现人脸变换和人脸融合的效果。通过检测多张人脸的关键特征点,可以将一个人的面部特征应用到另一个人的图像上,实现面部表情、年龄、性别等方面的转换和融合。这在娱乐应用、电影特效和人脸变换软件中有广泛的应用。
-
视频分析和人机交互:人脸特征点检测在视频分析和人机交互领域也具有重要作用。通过实时地检测和跟踪人脸的关键特征点,可以实现面部表情识别、手势识别、头部姿态跟踪等功能。这对于增强现实、虚拟现实、游戏开发和用户体验改进等方面都有很大的潜力。
最后附上进阶篇《OpenCV人眼检测+眨眼计数》,持续迸发。
更多推荐
所有评论(0)