基于卷积神经网络的矿工面部表情识别方法.pdf

第44卷第5期 2018年5月 工矿自动化 Industry and Mine Automation Vol. 44 No. 5 May 2018 文章编号671-251X201805-0095-05 D O I 10. 13272/j. i s s n. 1671-251x. 17312 基 于 卷 积 神 经 网 络 的 矿I面 部 表 情 识 别 方 法 杜云S 张璐璐S 潘涛2 1.河 北 科 技 大 学 电 气 工 程 学 院 ， 河 北 石 家 庄 050018; 2.神华信息技术有限公司，北 京 100011 摘要 针对传统的矿工面部表情识别方法识别率较低、 算法复杂等问题， 以卷积神经网终为基础， 结合支 持向量机算法中的非线性映射函数， 提出了基于卷积神经网络的矿工面部表情识别方法。卷积神经网络采 用权值共享的策略， 运用固定权值直接构造卷积层， 并依照匹配生长规则确定网络层次结构。将经过预处理 的矿工面部表情图像作为卷积神经网终的测试集和训练集， 使用支持向量机对表征矿工面部表情特征的神 经元进行分类， 从而实现对矿工面部表情的分类识别。实验结果表明， 该方法对矿工面部表情的识别率达到 90. 7 1 ， 能够满足实际应用需要。 关键词 矿工面部表情识别； 卷积神经网终；支持向量机； 权值共享策略；匹配生长规则 中图分类号T D679 文献标志码 A 网络出版地址E t t p //k n s. c n k i. n e t/k c m s/d e t a i l/32. 1627. T P. 20180503. 1346. 001. h t m l Miners’ facial expression recognition based on convolutional neural network D U Y u n1， Z H A N G L u l u 1 ，P A N T a o2 1. S c h o o l o f E l e c t r i c a l E n g i n e e r i n g, H e b e i U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y， S h i j i a z h u a n g 050018, C h i n a; 2. S h e n h u a I n f o r m a t i o n T e c h n o l o g y C o.， L t d . ，B e i j i n g 100011, C h i n a Abstract I n v i e w o f p r o b l e m s o f l o w r e c o g n i t i o n r a t e a n d c o m p l e x a l g o r i t h m o f t r a d i t i o n a l m i n e r s f a c i a l e x p r e s s i o n r e c o g n i t i o n m e t h o d s， b a s e d o n c o n v o l u t i o n a l n e u r a l n e t w o r k a n d c o m b i n i n g w i t h n o n l i n e a r m a p p i n g f u n c t i o n in s u p p o r t v e c t o r m a c h i n e a l g o r i t h m， a m i n e r s f a c i a l e x p r e s s i o n r e c o g n i t i o n m e t h o d b a s e d o n c o n v o l u t i o n a l n e u r a l n e t w o r k w a s p r o p o s e d. T h e c o n v o l u t i o n a l n e u r a l n e t w o r k a d o p t s s h a r i n g w e i g h t s s t r a t e g y， c o n s t r u c t s c o n v o l u t i o n a l l a y e r d i r e c t l y w i t h f i x e d w e i g h t s， a n d d e t e r m i n e n e t w o r k h i e r a r c h y a c c o r d i n g t o m a t c h i n g g r o w t h r u l e s. P r e p r o c e s s e d m i n e r s f a c i a l e x p r e s s i o n i m a g e s a r e u s e d a s t e s t s e t a n d t r a i n i n g s e t s o f t h e c o n v o l u t i o n a l n e u r a l n e t w o r k. S u p p o r t i v e v e c t o r m a c h i n e is u s e d t o c l a s s i f y n e u r o n s t h a t r e p r e s e n t m i n e r s f a c i a l e x p r e s s i o n f e a t u r e s， s o a s t o r e a l i z e c l a s s i f i c a t i o n a n d r e c o g n i t i o n o f m i n e r s f a c i a l e x p r e s s i o n s. T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e r e c o g n i t i o n r a t e o f m i n e r s f a c i a l e x p r e s s i o n o f t h e p r o p o s e d m e t h o d r e a c h e s 90.71，w h i c h c a n m e e t t h e p r a c t i c a l a p p l i c a t i o n n e e d s. Key words m i n e rs f a c i a l e x p r e s s i o n r e c o g n i t i o n ； c o n v o l u t i o n a l n e u r a l n e t w o r k; s u p p o r t v e c t o r m a c h i n e; w e i g h t s h a r i n g s t r a t e g y; m a t c h i n g g r o w t h r u l e 收稿日期收稿日期2018-01-30;修回日期修回日期2018-03-13;责任编辑责任编辑胡娴。 基金项目基金项目 国家重点研发计划项目（ 2016YFC0801800。 作者筒介作者筒介 杜云（ 1975 女， 河北邯郸人， 副教授， 硕士研究生导师， 主要研究方向为智能控制理论及应用， E-mail yunny7503 163. com。 通 信作者 潘涛（ 1975 男， 江苏连云港人， 教授级高级工程师， 博士， 博士后， 主要研究方向为矿山智能化、 监控通信， E-mail pancumt163. com。 引用格式引用格式 杜云， 张璐璐， 潘涛.基于卷积神经网络的矿工面部表情识别方法工矿自动化， 2018,4455-99. DU Yun， ZHANG Lulu PAN Tao. M inerr facial expression recognition m ethod based on convolutional neural network[J] . Industry and M ine Automation, 2018445 95-99. 96 工 矿 自 动 化2 0 1 8 年 第 4 4 卷 〇 引言 在煤矿生产过程中， 井下矿工情绪低落或走神， 都会影响其工作效率， 甚 至 导 致 事 故 发 生 。如果能 够通过计算机实现人脸表情识别， 就能更好地掌握 井下工作人员的情绪状态， 从而及时发现问题， 消除 隐患[1]。近 年 来 ， 众多研究者对人脸表情识别进行 了研究， 如S o n g M等[2]利用基于统计形状模型的 A S M来提取人脸表情图像特征点， 该算法不仅可以 降低光照变化造成的影响， 还对表情不对称的图像 具 有 较 好 的 识 别 能 力。Z a v a s c h i T H H等[3]将 G a b o r小 波 变 换 与 局 部 二 值 模 式 相 结 合 ， 提取复合 特 征 ， 利 用 支 持 向 量 机（ c u p F o r t V e c t o r M a c l i i n e， S V M进 行分 类 ， 获得了比传统算法更高的识别率， 但同时加大了算法复杂度， 增 加 了 识 别 时 间 。以上 方法都是采用传统的“ 目 标 分 割 提 取 -人 工 缺 陷 特 征选取 人 工 特 征 描 述 计 算 -统 计 方 法 或 浅 层 网 络 识别” 的方式， 由于煤矿井下环境特殊， 对 比 度 低 ， 且 有些特征不明显， 故对矿工面部特征的有效描述和 准确提取比较困难[45]。 深度学习算法的出现为众多领域的研究提供了 新 的 思 路 ， 其实质是模拟视觉感知系统的层次结构， 建立含有丰富隐层结构的机器学习模型， 通过大量 的数据训练， 学习获得有用的本质特征， 提高分类识 别及预测的准确性[8]。本文提出了基于卷积神经 网络的矿工面部表情识别方法， 在卷积神经网的基 础 上 ， 结 合S6M算法中的非线性映射函数， 构建了 一种类似于人类视觉系统的深度学习网络， 实现了 对矿工面部表情的智能识别。 1卷积神经网络结构 1 标准卷积神经网络结构 卷积神经网络是受到视 觉 神 经 系 统 的 启 发 ， 针 对二维形状的识别而设计的一种多层感知器， 在平 移的情况下具有高度不变性， 在缩放和倾斜的情况 下也具有一定的不变性。作为一种特殊的前馈神经 网络模型， 标准卷积神经网络通常具有比较深的结 构 ， 一般由输入层、 卷 积 层 、 下采样层、 全连接层及输 出层组成[9]， 如 图 1 所 示 。其中输入层通常是一个 矩 阵 ， 卷积层和采样层可以看作是特殊的隐含层， 而 其他层是普通的隐含层， 这些层一般具有不同的计 算 方 式 ， 权值大多需要通过学习来优化；H“He为 全 连 接 层 为 全 连 接 层 层 数 。 卷积 神 经 网 络 采 用 权 值 共 享 的 策 略 ， 在此基础 图1标准卷积神经网络结构 Fig. 1 Structure of standard convolutional neural network 上 ， 卷 积 层 直 接 选 用 固 定 权 值G a b o, 滤 波 器 构 造 ， 极大地减少了网络训练参数数量， 降低了视觉模型 的。 二 维G a b o r滤 波 器 是 进 行 图 像 多 分 辨 率 分 析 的 有 力 工 具 ， 被 广 泛 应 用 于 图 像 处 理 ， 二 维G a b o r 核函数[10]定 义 如 下 2u zV e x p- 22 X ecpiku,vz e x p“ 1 式 中 dz为滤波器中心频率， 为 方 向 因 子z为尺 度 因 子 H 层 下 采 样 面 数 量 与 H1 层 相 同 ；H 层 卷 积 面 数 量 为M1 M2d M3 1 ， 其 中M 表 示 以H 层 中N/2个相邻下采样面组 合 作 为 输 入 的 卷 积 面 的 数 量 ，M2 表 示 以H 层中 N/2d1个相邻下采样面组合作为输入的卷积面数 量， M3表 示 以H 层 中N/2 1 个不相邻下采样面 组 合 作 为 输 入 的 卷 积 面 数 量 ；H 层 最 后 一 个 卷 积 面 以H 层全部下采样面组合作为输入；H4 层的下 采 样 面 数 量 与H 层 相 同 ， 依 次 类 推 ， 直到达到所需 的收敛域为止。 2 0 1 8 年 第 5 期杜 云 等 基 于 卷 积 神 经 网 络 的 矿 工 面 部 表 情 识 别 方 法 97 2 SVM 算法 卷 积 神 经 网 络 的 全 连 接 层H5He主要用来 分 类 ， 这些层实际上 个多层前馈网络， 激活 数 的 确 定 是 其 中 一 个 关 键 问 题 ， 本 文 采 用S V M 来 确 定 全连接层的激活函数。S V M是 有很 习能 化 能 力 的 二 分 类 器 ， 其基本思想是 利用核函数线 样本映射 高 维空间， 在高维空间中建立一个最优分类 1 。寻找最优分类 实 是 一 个 凸 二 次 规 划 问 题 ， 从 上 讲 ， 最终求得的解将是全局最优点[1314]。 2.1 激活函数确定 一般情况下， 通 过 调 整 核 函 数K x， 的参数 及惩罚 C 化S V M分类器的性能。核函数 可以将高维映射转化为 的 点 乘 ， 决 高维特 征空间的选择。较 为 常 见 的 核 函 数 有 线 性 核 函 数 、 阶 多 项 核 函 数 、S i g m o i d核 函 数 和 径 向 基 核 函 数 R a d i a l B a s i s F u n c t i o n，R B F[15]。一般的激活函数 采 用S i g m o i d核 函 数 ， 但 由 于R B F函数具有只需调 整一个参数 、 在 数 情 况 下 与S i g m o i d核函数 相 似 、 线性核函数是 例等优 点 ， 所以本文选用 R B F 数 。 利 用 网 格 搜 索 结 合K-f o l d交叉验证的方法对 R B F核参数y和惩罚 C 寻 优 。网格划分 采用 划分 ， 选 的 ， 可 能 最 解 ； 若选取的 ， 会使搜索时间 。因 此 ， 需选取合适的步长。考 7 的取值范围容易 落在[0， 1]内， 本文采用指数函数对网 划 分 ， 即建立二维网 标 ， 设 定 （C，y 的搜索范围 〜 通常 ， 2-5C 2 5,2-5y 5x5sm 米 * 到 la修回日期 2018-02-28;责任编辑 张强。 作者筒介 施裙（ 1995 男， 辽宁沈阳人， 硕士研究生， 研究方向为电力电子与电力传动， E-mail1965770996qq. com。 引用格式施韬， 何凤有.燃煤加热炉温度控制系统解耦方法设计工矿自动化， 2018,44500-104. SHI TaoHE Fengyou. Design of decoupling m ethod of temperature control system for coal-fired reheating furnace[J] . Industry and M ine Automation， 018， 45 100-104. YU Yongwei， YIN Guofu， YIN Ying, et al. Defect recognition for radiographic image based on deep learning network [J ]. Chinese Journal of Scientific Instrument,2014,359 2012-2019. [13] TONG Y,CHEN R, CHENG Y. Facial expression recognition algorithm using LGC based on horizontal and diagonal prior principle [J ]. Optik-International Journal for Light and Electron Optics , 2014,12516 4186-4189. [14] SEBE N， COHEN I， GARG A， et al. Emotion recognition using a cauchy naive Bayes classifier[C]// Proceedings of International Conference on Pattern Recognition , Quebec City , 2002. [15] P ANTIC M， ROTHKRANTZ L. Facial action recognition for facial expression analysis from static face images[J]. IEEE Transactions on Systems , Man and Cybemetics-Part B , 2004,343 1449-1461.