如何线上部署用python基于dlib写的人脸识别算法

python使用dlib进行人脸检测与人脸关键点标记

Dlib简介：

首先给大家介绍一下Dlib

Dlib是一个跨平台的C++公共库，除了线程支持，网络支持，提供测试以及大量工具等等优点，Dlib还是一个强大的机器学习的C++库，包含了许多机器学习常用的算法。同时支持大量的数值算法如矩阵、大整数、随机数运算等等。

Dlib同时还包含了大量的图形模型算法。

最重要的是Dlib的文档和例子都非常详细。

Dlib主页：

这篇博客所述的人脸标记的算法也是来自Dlib库，Dlib实现了One Millisecond Face Alignment with an Ensemble of Regression Trees中的算法

这篇论文非常出名，在谷歌上打上One Millisecond就会自动补全，是CVPR 2014(国际计算机视觉与模式识别会议)上的一篇国际顶级水平的论文。毫秒级别就可以实现相当准确的人脸标记，包括一些半侧脸，脸很不清楚的情况，论文本身的算法十分复杂，感兴趣的同学可以下载看看。

Dlib实现了这篇最新论文的算法，所以Dlib的人脸标记算法是十分先进的，而且Dlib自带的人脸检测库也很准确，我们项目受到硬件所限，摄像头拍摄到的画面比较模糊，而在这种情况下之前尝试了几个人脸库，识别率都非常的低，而Dlib的效果简直出乎意料。

相对于C++我还是比较喜欢使用python，同时Dlib也是支持python的，只是在配置的时候碰了不少钉子，网上大部分的Dlib资料都是针对于C++的，我好不容易才配置好了python的dlib，这里分享给大家：

Dlib for python 配置：

因为是用python去开发计算机视觉方面的东西，python的这些科学计算库是必不可少的，这里我把常用的科学计算库的安装也涵盖在内了，已经安装过这些库的同学就可以忽略了。

我的环境是Ubuntu14.04:

大家都知道Ubuntu是自带python2.7的，而且很多Ubuntu系统软件都是基于python2.7的，有一次我系统的python版本乱了，我脑残的想把python2.7卸载了重装，然后……好像是提醒我要卸载几千个软件来着，没看好直接回车了，等我反应过来Ctrl + C 的时候系统已经没了一半了…

所以我发现想要搞崩系统，这句话比rm -rf 还给力…

sudo apt-get remove python2.71

首先安装两个python第三方库的下载安装工具,ubuntu14.04好像是预装了easy_install

以下过程都是在终端中进行：

1.安装pip

sudo apt-get install python-pip1

2.安装easy-install

sudo apt-get install python-setuptools1

3.测试一下easy_install

有时候系统环境复杂了，安装的时候会安装到别的python版本上，这就麻烦了，所以还是谨慎一点测试一下，这里安装一个我之前在博客中提到的可以模拟浏览器的第三方python库测试一下。

sudo easy_install Mechanize1

4.测试安装是否成功

在终端输入python进入python shell

python1

进入python shell后import一下刚安装的mechanize

>>>import mechanize1

没有报错，就是安装成功了，如果说没有找到，那可能就是安装到别的python版本的路径了。

同时也测试一下PIL这个基础库

>>>import PIL1

没有报错的话，说明PIL已经被预装过了

5.安装numpy

接下来安装numpy

首先需要安装python-dev才可以编译之后的扩展库

sudo apt-get install python-dev1

之后就可以用easy-install 安装numpy了

sudo easy_install numpy1

这里有时候用easy-install 安装numpy下载的时候会卡住，那就只能用 apt-get 来安装了：

sudo apt-get install numpy1

不推荐这样安装的原因就是系统环境或者说python版本多了之后，直接apt-get安装numpy很有可能不知道装到哪个版本去了，然后就很麻烦了，我有好几次遇到这个问题,不知道是运气问题还是什么，所以风险还是很大的，所以还是尽量用easy-install来安装。

同样import numpy 进行测试

python

>>>import numpy1234

没有报错的话就是成功了

下面的安装过程同理，我就从简写了，大家自己每步别忘了测试一下

6.安装scipy

sudo apt-get install python-scipy1

7.安装matplotlib

sudo apt-get install python-matplotlib1

8.安装dlib

我当时安装dlib的过程简直太艰辛，网上各种说不知道怎么配，配不好，我基本把stackoverflow上的方法试了个遍，才最终成功编译出来并且导入，不过听说18.18更新之后有了setup.py,那真是极好的，18.18我没有亲自配过也不能乱说，这里给大家分享我配置18.17的过程吧：

1.首先必须安装libboost，不然是不能使用.so库的

sudo apt-get install libboost-python-dev cmake1

2.到Dlib的官网上下载dlib，会下载下来一个压缩包，里面有C++版的dlib库以及例子文档，Python dlib库的代码例子等等

我使用的版本是dlib-18.17,大家也可以在我这里下载：

之后进入python_examples下使用bat文件进行编译，编译需要先安装libboost-python-dev和cmake

cd to dlib-18.17/python_examples

./compile_dlib_python_module.bat 123

之后会得到一个dlib.so，复制到dist-packages目录下即可使用

这里大家也可以直接用我编译好的.so库,但是也必须安装libboost才可以，不然python是不能调用so库的，下载地址：

将.so复制到dist-packages目录下

sudo cp dlib.so /usr/local/lib/python2.7/dist-packages/1

最新的dlib18.18好像就没有这个bat文件了，取而代之的是一个setup文件，那么安装起来应该就没有这么麻烦了，大家可以去直接安装18.18，也可以直接下载复制我的.so库，这两种方法应该都不麻烦～

有时候还会需要下面这两个库，建议大家一并安装一下

9.安装skimage

sudo apt-get install python-skimage1

10.安装imtools

sudo easy_install imtools1

Dlib face landmarks Demo

环境配置结束之后，我们首先看一下dlib提供的示例程序

1.人脸检测

dlib-18.17/python_examples/face_detector.py 源程序：

#!/usr/bin/python# The contents of this file are in the public domain. See LICENSE_FOR_EXAMPLE_PROGRAMS.txt##   This example program shows how to find frontal human faces in an image.  In#   particular, it shows how you can take a list of images from the command#   line and display each on the screen with red boxes overlaid on each human#   face.##   The examples/faces folder contains some jpg images of people.  You can run#   this program on them and see the detections by executing the#   following command:#       ./face_detector.py ../examples/faces/*.jpg##   This face detector is made using the now classic Histogram of Oriented#   Gradients (HOG) feature combined with a linear classifier, an image#   pyramid, and sliding window detection scheme.  This type of object detector#   is fairly general and capable of detecting many types of semi-rigid objects#   in addition to human faces.  Therefore, if you are interested in making#   your own object detectors then read the train_object_detector.py example#   program.  ### COMPILING THE DLIB PYTHON INTERFACE#   Dlib comes with a compiled python interface for python 2.7 on MS Windows. If#   you are using another python version or operating system then you need to#   compile the dlib python interface before you can use this file.  To do this,#   run compile_dlib_python_module.bat.  This should work on any operating#   system so long as you have CMake and boost-python installed.#   On Ubuntu, this can be done easily by running the command:#       sudo apt-get install libboost-python-dev cmake##   Also note that this example requires scikit-image which can be installed#   via the command:#       pip install -U scikit-image#   Or downloaded from . import sys

import dlib

from skimage import io

detector = dlib.get_frontal_face_detector()

win = dlib.image_window()

print("a");for f in sys.argv[1:]:

print("a");

print("Processing file: {}".format(f))

img = io.imread(f)

# The 1 in the second argument indicates that we should upsample the image

# 1 time.  This will make everything bigger and allow us to detect more

# faces.

dets = detector(img, 1)

print("Number of faces detected: {}".format(len(dets)))    for i, d in enumerate(dets):

print("Detection {}: Left: {} Top: {} Right: {} Bottom: {}".format(

i, d.left(), d.top(), d.right(), d.bottom()))

win.clear_overlay()

win.set_image(img)

win.add_overlay(dets)

dlib.hit_enter_to_continue()# Finally, if you really want to you can ask the detector to tell you the score# for each detection.  The score is bigger for more confident detections.# Also, the idx tells you which of the face sub-detectors matched.  This can be# used to broadly identify faces in different orientations.if (len(sys.argv[1:]) > 0):

img = io.imread(sys.argv[1])

dets, scores, idx = detector.run(img, 1)    for i, d in enumerate(dets):

print("Detection {}, score: {}, face_type:{}".format(

d, scores[i], idx[i]))123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081

我把源代码精简了一下，加了一下注释： face_detector0.1.py

# -*- coding: utf-8 -*-import sys

import dlib

from skimage import io#使用dlib自带的frontal_face_detector作为我们的特征提取器detector = dlib.get_frontal_face_detector()#使用dlib提供的图片窗口win = dlib.image_window()#sys.argv[]是用来获取命令行参数的，sys.argv[0]表示代码本身文件路径，所以参数从1开始向后依次获取图片路径for f in sys.argv[1:]:    #输出目前处理的图片地址

print("Processing file: {}".format(f))    #使用skimage的io读取图片

img = io.imread(f)    #使用detector进行人脸检测 dets为返回的结果

dets = detector(img, 1)    #dets的元素个数即为脸的个数

print("Number of faces detected: {}".format(len(dets)))    #使用enumerate 函数遍历序列中的元素以及它们的下标

#下标i即为人脸序号

#left：人脸左边距离图片左边界的距离 ;right：人脸右边距离图片左边界的距离

#top：人脸上边距离图片上边界的距离 ;bottom：人脸下边距离图片上边界的距离

for i, d in enumerate(dets):

print("dets{}".format(d))

print("Detection {}: Left: {} Top: {} Right: {} Bottom: {}"

.format( i, d.left(), d.top(), d.right(), d.bottom()))    #也可以获取比较全面的信息，如获取人脸与detector的匹配程度

dets, scores, idx = detector.run(img, 1)

for i, d in enumerate(dets):

print("Detection {}, dets{},score: {}, face_type:{}".format( i, d, scores[i], idx[i]))

#绘制图片(dlib的ui库可以直接绘制dets)

win.set_image(img)

win.add_overlay(dets)    #等待点击

dlib.hit_enter_to_continue()1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950

分别测试了一个人脸的和多个人脸的，以下是运行结果：

运行的时候把图片文件路径加到后面就好了

python face_detector0.1.py ./data/3.jpg12

一张脸的：

两张脸的：

这里可以看出侧脸与detector的匹配度要比正脸小的很多

2.人脸关键点提取

人脸检测我们使用了dlib自带的人脸检测器(detector)，关键点提取需要一个特征提取器(predictor)，为了构建特征提取器，预训练模型必不可少。

除了自行进行训练外，还可以使用官方提供的一个模型。该模型可从dlib sourceforge库下载：

arks.dat.bz2

也可以从我的连接下载：

这个库支持68个关键点的提取，一般来说也够用了，如果需要更多的特征点就要自己去训练了。

dlib-18.17/python_examples/face_landmark_detection.py 源程序：

#!/usr/bin/python# The contents of this file are in the public domain. See LICENSE_FOR_EXAMPLE_PROGRAMS.txt##   This example program shows how to find frontal human faces in an image and#   estimate their pose.  The pose takes the form of 68 landmarks.  These are#   points on the face such as the corners of the mouth, along the eyebrows, on#   the eyes, and so forth.##   This face detector is made using the classic Histogram of Oriented#   Gradients (HOG) feature combined with a linear

思路：

1. 确定好需要画的图。

2. 创建一个画布，用来画你需要的图。

(1)画布大小，可以使用默认大小，也可以自定义画布大小。

(2)画布背景色bgcolor()。

(3)确定起点位置。

3. 画笔的设置。

(1)画笔的大小，颜色。

(2)画笔运行属性。

二、定义画布参数

import turtle as t

t.screensize(width = None,heigh = None,bg = None)　　#以像素为单位，参数分别为画布的宽，高，背景色

t.screensize()　　#返回默认大小(400，300)

t.Screen()　　　　#也是表示默认画布大小，注意S大写

t.setup(w=0.5,h=0.75,startx=None,starty=None)　#w,h为整数是表示像素，为小数时表示占据电脑屏幕的比例

#startx，starty坐标表示矩形窗口左上角顶点的位置，默认为屏幕中心位置

三、定义画笔

1、画笔的状态

在画布上默认有一个坐标原点为画布中心的

坐标轴

，坐标原点上有一只面朝x轴正方向小乌龟。这里我们描述小乌龟时使用了两个词语：坐标原点(位置)，面朝x轴正方向(方向)，turtle绘图中，就是使用位置方向描述小乌龟(画笔)的状态。

2、画笔的属性

画笔(画笔的属性，颜色、画线的宽度)

(1)turtle.pensize()：设置画笔的宽度;

(2)turtle.pencolor()：没有参数传入，返回当前画笔颜色，传入参数设置画笔颜色，可以是

字符串

如"green"，"red"，也可以是RGB 3元组;

>>> pencolor('brown')

>>> tup = (0.2, 0.8, 0.55)

>>> pencolor(tup)

>>> pencolor()

'#33cc8c'

(3)turtle.speed(speed)：设置画笔移动速度，画笔绘制的速度范围[0,10]整数，数字越

大越

快。

相关推荐：《Python入门教程》

3、绘图命令

操纵

海龟

绘图有着许多的命令，这些命令可以划分为3种：一种为运动命令，一种为画笔控制命令，还有一种是全局控制命令。

(1)画笔运动命令：

(2)画笔控制命令：

(3)全局控制命令：

四、命令详解

turtle.circle(radius, extent=None, steps=None)

描述：以给定半径画圆

参数：

radius(半径);半径为正(负),表示圆心在画笔的左边(右边)画圆;

extent(弧度) (optional);

steps (optional) (做半径为radius的圆的内切

正多边形

，多边形边数为steps);

举例：

circle(50) # 整圆;

circle(50,steps=3) #

三角形

;

circle(120, 180) # 半圆

五、绘图举例

(1)菱形太阳花

import turtle as t #turtle库是python的内部库，直接import使用即可

def draw_diamond(turt):

for i in range(1,3):

turt.forward(100) #向前走100步

希望我的回答对你有帮助

Windows 8.1上配置OpenCV

入门的时候配置环境总是一个非常麻烦的事情，在Windows上配置OpenCV更是如此。

既然写了这个推广的科普教程，总不能让读者卡在环境配置上吧。

下面用到的文件都可以在 这里 (提取码：b6ec)下载，但是注意，目前OpenCV仅支持Python2.7。

将cv2加入site-packages

将下载下来的 cv2.pyd 文件放入Python安装的文件夹下的 Libsite-packages 目录。

就我的电脑而言，这个目录就是 C:Python27Libsite-packages 。

记得不要直接使用pip安装，将文件拖过去即可。

安装numpy组件

在命令行下进入到下载下来的文件所在的目录(按住Shift右键有在该目录打开命令行的选项)

键入命令：

pipinstallnumpy-1.11.0rc2-cp27-cp27m-win32.whl

如果你的系统或者Python不适配，可以在 这里 下载别的轮子。

测试OpenCV安装

在命令行键入命令：

python -c "import cv2"

如果没有出现错误提示，那么cv2就已经安装好了。

OpenCV的人脸检测应用

人脸检测应用，简而言之就是一个在照片里找到人脸，然后用方框框起来的过程(我们的相机经常做这件事情)

那么具体而言就是这样一个过程：

获取摄像头的图片

在图片中检测到人脸的区域

在人脸的区域周围绘制方框

获取摄像头的图片

这里简单的讲解一下OpenCV的基本操作。

以下操作是打开摄像头的基本操作：

#coding=utf8

importcv2

# 一般笔记本的默认摄像头都是0

capInput = cv2.VideoCapture(0)

# 我们可以用这条命令检测摄像头是否可以读取数据

if not capInput.isOpened(): print('Capture failed because of camera')

那么怎么从摄像头读取数据呢?

# 接上段程序

# 现在摄像头已经打开了，我们可以使用这条命令读取图像

# img就是我们读取到的图像，就和我们使用open('pic.jpg', 'rb').read()读取到的数据是一样的

ret, img = capInput.read()

# 你可以使用open的方式存储，也可以使用cv2提供的方式存储

cv2.imwrite('pic.jpg', img)

# 同样，你可以使用open的方式读取，也可以使用cv2提供的方式读取

img = cv2.imread('pic.jpg')

为了方便显示图片，cv2也提供了显示图片的方法：

# 接上段程序

# 定义一个窗口，当然也可以不定义

imgWindowName = 'ImageCaptured'

imgWindow = cv2.namedWindow(imgWindowName, cv2.WINDOW_NORMAL)

# 在窗口中显示图片

cv2.imshow(imgWindowName, img)

当然在完成所有操作以后需要把摄像头和窗口都做一个释放：

# 接上段程序

# 释放摄像头

capInput.release()

# 释放所有窗口

cv2.destroyAllWindows()

在图片中检测到人脸的区域

OpenCV给我们提供了已经训练好的人脸的xml模板，我们只需要载入然后比对即可。

# 接上段程序

# 载入xml模板

faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

# 将图形存储的方式进行转换

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 使用模板匹配图形

faces = faceCascade.detectMultiScale(gray, 1.3, 5)

print(faces)

在人脸的区域周围绘制方框

在上一个步骤中，faces中的四个量分别为左上角的横坐标、纵坐标、宽度、长度。

所以我们根据这四个量很容易的就可以绘制出方框。

# 接上段程序

# 函数的参数分别为：图像，左上角坐标，右下角坐标，颜色，宽度

img = cv2.rectangle(img, (x, y), (x + w, y + h), (255, 0, 0), 2)

成果

根据上面讲述的内容，我们现在已经可以完成一个简单的人脸辨认了：

#coding=utf8

importcv2

print('Press Esc to exit')

faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

imgWindow = cv2.namedWindow('FaceDetect', cv2.WINDOW_NORMAL)

defdetect_face():

capInput = cv2.VideoCapture(0)

# 避免处理时间过长造成画面卡顿

nextCaptureTime = time.time()

faces = []

if not capInput.isOpened(): print('Capture failed because of camera')我爱编程网

while 1:

ret, img = capInput.read()

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

if nextCaptureTime

使用Face++完成人脸辨识

第一次认识Face++还是因为支付宝的人脸支付，响应速度还是非常让人满意的。

现在只需要免费注册一个账号然后新建一个应用就可以使用了，非常方便。

他的官方网址是 这个 ，注册好之后在 这里 的我的应用中创建应用即可。

创建好应用之后你会获得API Key与API Secret。

Face++的API调用逻辑简单来说是这样的：

上传图片获取读取到的人的face_id

创建Person，获取person_id(Person中的图片可以增加、删除)

比较两个face_id，判断是否是一个人

比较face_id与person_id，判断是否是一个人

上传图片获取face_id

在将图片通过post方法上传到特定的地址后将返回一个json的值。

如果api_key, api_secret没有问题，且在上传的图片中有识别到人脸，那么会存储在json的face键值下。

#coding=utf8

importrequests

# 这里填写你的应用的API Key与API Secret

API_KEY = ''

API_SECRET = ''

# 目前的API网址是这个，你可以在API文档里找到这些

BASE_URL = '

'

# 使用Requests上传图片

url = '%s/detection/detect?api_key=%s

创建Person

这个操作没有什么可以讲的内容，可以对照这段程序和官方的API介绍。

官方的API介绍可以见 这里 ，相信看完这一段程序以后你就可以自己完成其余的API了。

# 上接上一段程序

# 读取face_id

if not facesis None: faceIdList = [face['face_id'] for facein faces]

# 使用Requests创建Person

url = '%s/person/create'%BASE_URL

params = {

'api_key': API_KEY,

'api_secret': API_SECRET,

'person_name': 'LittleCoder',

'face_id': ','.join(faceIdList), }

r = requests.get(url, params = params)

# 获取person_id

print r.json.()['person_id']

进度确认

到目前为止，你应该已经可以就给定的两张图片比对是否是同一个人了。

那么让我们来试着写一下这个程序吧，两张图片分别为’pic1.jpg’, ‘pic2.jpg’好了。

下面我给出了我的代码：

defupload_img(fileDir, oneface = True):

url = '%s/detection/detect?api_key=%s

成品

到此，所有的知识介绍都结束了，相比大致如何完成这个项目各位读者也已经有想法了吧。