人脸识别驾驶疲劳检测（1）：眨眼检测实现

前言

经过查阅文献，基于人脸表面特征的疲劳检测，主要分为三个部分，打哈欠、眨眼、点头。本实验从人脸朝向、位置、瞳孔朝向、眼睛开合度、眨眼频率、瞳孔收缩率等数据入手，并通过这些数据，实时地计算出驾驶员的注意力集中程度，分析驾驶员是否疲劳驾驶和及时作出安全提示。

一、背景

（1） 环境搭建  

题主使用的环境配置: python3.9 .13+cuda11.3+anaconda3  

所需库：

pip install numpy

pip install matplotlib

pip installl imutils

pip install scipy

pip install dlib

其中 dlib下载方法（本文仅提供py3.9版本下载）

首先安装

pip install cmake

pip install boost

下载dlib-19.23.0-cp39-cp39-win_amd64.whl

下载后在对应 文件夹  下执行（这个大家应该都会吧（我自己是放在环境目录的backages文件夹里））

pip install dlib-19.23.0-cp39-cp39-win_amd64.whl

其他版本dlib中下载

（2）下载开源数据集

shape_predictor_68_face_landmarks.dat

（3） 视觉  疲劳检测原理

因为人在疲倦时大概会产生两种状态： 眨眼：正常人的眼睛每分钟大约要眨动10-15次，

每次眨眼大概0.2-0.4秒，如果疲倦时眨眼次数会增多，速度也会变慢。打哈欠：此时嘴

会长大而且会保持一定的状态。因此检测人是否疲劳可以从眼睛的开合度，眨眼频率，以

及嘴巴张合程度来判断一个人是否疲劳。

检测工具

dlib ：一个很经典的用于图像处理的开源库，shape_predictor_68_face_landmarks.dat是一个用于人脸68个关键点检测的dat 模型库 ，使用这个模型库可以很方便地进行人脸检测，并进行简单的应用。

眨眼计算原理：

（1） 计算眼睛的宽高比

基本原理：计算 眼睛长宽比 Eye Aspect Ratio，EAR.当人眼睁开时，EAR在某个值上下波动，当人眼闭合时，EAR迅速下降，理论上会接近于零，当时人脸检测模型还没有这么精确。所以我们认为当EAR低于某个阈值时，眼睛处于闭合状态。为检测眨眼次数，需要设置同一次眨眼的连续帧数。眨眼速度比较快，一般1~3帧就完成了眨眼动作。两个阈值都要根据实际情况设置。

（2）当前帧两双眼睛宽高比与前一帧的差值的绝对值（EAR）大于0.2，则认为是疲劳

（68点landmark中可以看到37-42为左眼，43-48为右眼）

右眼开合度可以通过以下公式得到（左眼同理）：

代码思路

第一步：使用dlib.get_frontal_face_detector() 获得脸部位置检测器

第二步：使用dlib.shape_predictor获得脸部特征位置检测器

第三步：分别获取左右眼面部标志的索引

第四步：打开cv2 本地摄像头

第五步：从视频流进行循环，读取图片，并对图片做维度扩大，并进灰度化

第六步：使用detector(gray, 0) 进行脸部位置检测

第七步：循环脸部位置信息，使用predictor(gray, rect)获得脸部特征位置的信息

第八步：将脸部特征信息转换为数组array的格式

第九步：提取左眼和右眼坐标

第十步：构造函数计算左右眼的EAR值，使用平均值作为最终的EAR

第十一步：使用cv2.convexHull获得凸包位置，使用drawContours画出轮廓位置进行画图操作

第十二步：进行画图操作，用矩形框标注人脸

第十三步：分别计算左眼和右眼的评分求平均作为最终的评分，如果小于阈值，则加1，如果连续3次都小于阈值，则表示进行了一次眨眼活动

第十四步：进行画图操作，68个特征点标识

第十五步：进行画图操作，同时使用cv2.putText将眨眼次数进行显示

第十六步：统计总眨眼次数大于50次屏幕显示睡着。

二、代码示例

# -*- coding: utf-8 -*-# import the necessary packagesfrom scipy.spatial import distance as distfrom imutils.video import FileVideoStreamfrom imutils.video import VideoStreamfrom imutils import face_utilsimport numpy as np  # 数据处理的库 numpyimport argparseimport imutilsimport timeimport dlibimport cv2  def eye_aspect_ratio(eye):    # 垂直眼标志（X，Y）坐标    A = dist.euclidean(eye[1], eye[5])  # 计算两个集合之间的欧式距离    B = dist.euclidean(eye[2], eye[4])    # 计算水平之间的欧几里得距离    # 水平眼标志（X，Y）坐标    C = dist.euclidean(eye[0], eye[3])    # 眼睛长宽比的计算    ear = (A + B) / (2.0 * C)    # 返回眼睛的长宽比    return ear  # 定义两个常数# 眼睛长宽比# 闪烁阈值EYE_AR_THRESH = 0.2EYE_AR_CONSEC_FRAMES = 3# 初始化帧计数器和眨眼总数COUNTER = 0TOTAL = 0 # 初始化DLIB的人脸检测器（HOG），然后创建面部标志物预测print("[INFO] loading facial landmark predictor...")# 第一步：使用dlib.get_frontal_face_detector() 获得脸部位置检测器detector = dlib.get_frontal_face_detector()# 第二步：使用dlib.shape_predictor获得脸部特征位置检测器predictor = dlib.shape_predictor(    'shape_predictor_68_face_landmarks.dat') # 第三步：分别获取左右眼面部标志的索引(lStart, lEnd) = face_utils.FACIAL_LANDMARKS_IDXS["left_eye"](rStart, rEnd) = face_utils.FACIAL_LANDMARKS_IDXS["right_eye"] # 第四步：打开cv2 本地摄像头cap = cv2.VideoCapture(0) # 从视频流循环帧while True:    # 第五步：进行循环，读取图片，并对图片做维度扩大，并进灰度化    ret, frame = cap.read()    frame = imutils.resize(frame, width=720)    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)    # 第六步：使用detector(gray, 0) 进行脸部位置检测    rects = detector(gray, 0)     # 第七步：循环脸部位置信息，使用predictor(gray, rect)获得脸部特征位置的信息    for rect in rects:        shape = predictor(gray, rect)         # 第八步：将脸部特征信息转换为数组array的格式        shape = face_utils.shape_to_np(shape)         # 第九步：提取左眼和右眼坐标        leftEye = shape[lStart:lEnd]        rightEye = shape[rStart:rEnd]         # 第十步：构造函数计算左右眼的EAR值，使用平均值作为最终的EAR        leftEAR = eye_aspect_ratio(leftEye)        rightEAR = eye_aspect_ratio(rightEye)        ear = (leftEAR + rightEAR) / 2.0         # 第十一步：使用cv2.convexHull获得凸包位置，使用drawContours画出轮廓位置进行画图操作        leftEyeHull = cv2.convexHull(leftEye)        rightEyeHull = cv2.convexHull(rightEye)        cv2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)        cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)         # 第十二步：进行画图操作，用矩形框标注人脸        left = rect.left()        top = rect.top()        right = rect.right()        bottom = rect.bottom()        cv2.rectangle(frame, (left, top), (right, bottom), (0, 255, 0), 3)         ''' 分别计算左眼和右眼的评分求平均作为最终的评分，如果小于阈值，则加1，如果连续3次都小于阈值，则表示进行了一次眨眼活动 '''        # 第十三步：循环，满足条件的，眨眼次数+1        if ear < EYE_AR_THRESH:  # 眼睛长宽比：0.2            COUNTER += 1         else:            # 如果连续3次都小于阈值，则表示进行了一次眨眼活动            if COUNTER >= EYE_AR_CONSEC_FRAMES:  # 阈值：3                TOTAL += 1            # 重置眼帧计数器            COUNTER = 0         # 第十四步：进行画图操作，68个特征点标识        for (x, y) in shape:            cv2.circle(frame, (x, y), 1, (0, 0, 255), -1)         # 第十五步：进行画图操作，同时使用cv2.putText将眨眼次数进行显示        cv2.putText(frame, "Faces: {}".format(len(rects)), (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)        cv2.putText(frame, "Blinks: {}".format(TOTAL), (150, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)        cv2.putText(frame, "COUNTER: {}".format(COUNTER), (300, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)        cv2.putText(frame, "EAR: {:.2f}".format(ear), (450, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)     print('眼睛实时长宽比:{:.2f} '.format(ear))    if TOTAL >= 50:        cv2.putText(frame, "SLEEP!!!", (200, 200), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 0, 255), 2)    cv2.putText(frame, "Press 'q': Quit", (20, 500), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (84, 255, 159), 2)    # 窗口显示 show with opencv    cv2.imshow("Frame", frame)     # if the `q` key was pressed, break from the loop    if cv2.waitKey(1) & 0xFF == ord('q'):        break # 释放摄像头 release cameracap.release()# do a bit of cleanupcv2.destroyAllWindows()

三、效果演示

免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删