imutils库源码解读：如何与OpenCV面部工具协同工作

imutils 这个图像处理工具包，除了简化 opencv 的一些操作之外，还有专门配合 dlib 处理人脸数据的工具 face_utils。dlib 提取人脸数据后，五官都是用一些特征点来表示的，每个部位的点的索引是固定的，想要进一步操作就得对这些点进行处理，而 face_utils 就是简化这些点的表现方式

本文就来解析一下 face_utils 的处理方法，方便我们理解它的用处

特征点索引提取

查看源码：

#For dlib’s 68-point facial landmark detector:
FACIAL_LANDMARKS_68_IDXS = OrderedDict([
	("mouth", (48, 68)),
	("inner_mouth", (60, 68)),
	("right_eyebrow", (17, 22)),
	("left_eyebrow", (22, 27)),
	("right_eye", (36, 42)),
	("left_eye", (42, 48)),
	("nose", (27, 36)),
	("jaw", (0, 17))
])

特征点区域图：


   dlib 提取人脸特征点是用 68 个点包围每个部位，如上图，例如第 37 个点到第 42 个点就代表右眼，在图片上这几个点若显示出来就是把右眼那块区域包围着，可以通过这些点之间距离的变化来判断人脸的变化，比如是否眨眼等操作

imutils 通过 OrderedDict 把这些点的索引与其表示的区域直接通过字典形式联系起来，之后再提取某个部位的点时，就不用去查点的索引分布了，例如想提取嘴部特征点，其索引可以通过:

(mStart, mEnd) = face_utils.FACIAL_LANDMARKS_68_IDXS["mouth"]

把 FACIAL_LANDMARKS_68_IDXS 打印出来看看：

人脸区域坐标转换

查看源码：

def rect_to_bb(rect):
	# take a bounding predicted by dlib and convert it
	# to the format (x, y, w, h) as we would normally do
	# with OpenCV
	x = rect.left()
	y = rect.top()
	w = rect.right() - x
	h = rect.bottom() - y

	# return a tuple of (x, y, w, h)
	return (x, y, w, h)

dlib 提取人脸区域是后是用 4 个数表示，分别代表上下左右的边界。

rect_to_bb 将其转换为坐标信息，即(左上角横坐标, 左上角纵坐标, 矩形宽度, 矩形长度)，之后就可以通过这个坐标将人脸区域用矩形框出来显示

特征点坐标提取

查看源码：

def shape_to_np(shape, dtype="int"):
	# initialize the list of (x, y)-coordinates
	coords = np.zeros((shape.num_parts, 2), dtype=dtype)

	# loop over all facial landmarks and convert them
	# to a 2-tuple of (x, y)-coordinates
	for i in range(0, shape.num_parts):
		coords[i] = (shape.part(i).x, shape.part(i).y)

	# return the list of (x, y)-coordinates
	return coords

dlib 提取人脸的 68 个特征点之后，是用自身的 dlib.full_object_detection 格式保存它们的坐标信息，每次提取坐标都需要用 (shape.part(i).x, shape.part(i).y)形式

shape_to_np 将 68 个特征点的坐标提取出来后，再用 numpy 保存为坐标点矩阵，方便其使用

标记人脸部位

查看源码：

def visualize_facial_landmarks(image, shape, colors=None, alpha=0.75):
	# create two copies of the input image -- one for the
	# overlay and one for the final output image
	overlay = image.copy()
	output = image.copy()

	# if the colors list is None, initialize it with a unique
	# color for each facial landmark region
	if colors is None:
		colors = [(19, 199, 109), (79, 76, 240), (230, 159, 23),
			(168, 100, 168), (158, 163, 32),
			(163, 38, 32), (180, 42, 220)]

	# loop over the facial landmark regions individually
	for (i, name) in enumerate(FACIAL_LANDMARKS_IDXS.keys()):
		# grab the (x, y)-coordinates associated with the
		# face landmark
		(j, k) = FACIAL_LANDMARKS_IDXS[name]
		pts = shape[j:k]

		# check if are supposed to draw the jawline
		if name == "jaw":
			# since the jawline is a non-enclosed facial region,
			# just draw lines between the (x, y)-coordinates
			for l in range(1, len(pts)):
				ptA = tuple(pts[l - 1])
				ptB = tuple(pts[l])
				cv2.line(overlay, ptA, ptB, colors[i], 2)

		# otherwise, compute the convex hull of the facial
		# landmark coordinates points and display it
		else:
			hull = cv2.convexHull(pts)
			cv2.drawContours(overlay, [hull], -1, colors[i], -1)

	# apply the transparent overlay
	cv2.addWeighted(overlay, alpha, output, 1 - alpha, 0, output)

	# return the output image
	return output

68 个特征点提取出来后，已经将人脸的每个部位标记出来，之后就可以每个部位进行标记，例如将每个部位用不同颜色覆盖。而上面代码中的函数就是进行这个操作

2 个必要参数：

• image：输入图像
• shape：特征点坐标矩阵

使用后效果图：


   里面使用了 opencv 的 convexHull、drawContours 和 addWeighted 方法，看一下它们的参数和作用：
cv2.convexHull(points,clockwise,returnpoints)

• points：输入的坐标点，通常为1* n * 2 结构，n为所有的坐标点的数目
• clockwise：转动方向，TRUE为顺时针，否则为逆时针
• returnPoints：默认为TRUE，返回凸包上点的坐标，如果设置为FALSE，会返回与凸包点对应的轮廓上的点
  
      此函数是找寻凸包，不严谨的说是将最外层的点连接起来构成的凸多边形，即把边缘点连接起来

cv2.drawContours(image,contours,contourIdx,color,thickness=None,lineType=None,hierarchy=None,maxLevel=None,offset=None)

• image：输入图像
• contours：轮廓列表
• contourIdx：列表中的哪条轮廓
• color：绘制颜色
• thickness：轮廓线的宽度，如果是 -1 (cv2.FILLED)，则为填充模式
  
      此函数是将轮廓线条绘制出来，内部空间也可以填充

cv2.addWeighted(image1, alpha,image2,beta,gamma[,dst[,dtype]])

• image1：输入图像1
• alpha：图像1的权重
• image2：输入图像2，与图像1的尺寸和通道数相同
• beta：图像2的权重
• gamma：加到每个总和上的标量，相当于调亮度
• dst：输出
  
      此函数是将图像进行叠加，两个图像的权重自行选择

经过这 3 个方法后，人脸的每个部位就被标记出来了

免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删