一种适用于井下人脸跟踪的改进主动形状模型.pdf

第 4 3卷 第 3期 2 0 1 7年 3月 工矿 自 动化 I nd us t r y a n d M i ne Au t oma t i on Vo l 4 3 NO ． 3 M a r ． 2 O l 7 文 章编 号 1 6 7 1 2 5 1 X 2 0 1 7 0 3 0 0 5 3 0 4 D OI 1 0 ． 1 3 2 7 2 ／ j ． i s s n ． 1 6 7 1 2 5 l x ． 2 0 1 7 ． 0 3 ． 0 1 2 张秀琴 ， 王蓉 ， 张英俊． 一种适用于井下人脸跟踪 的改进主动形状模型l- J ] ． 工矿 自动化 ， 2 0 1 7 ， 4 3 3 5 3 5 6 ． 一 种适用于井下人脸跟踪的改进主动形状模型 张 秀琴 ， 王蓉 ， 张 英俊。 1 ． 武警工程大学 信息工程系 ，陕西 西安7 1 0 0 8 6 ； 2 ． 太原科技大学 计算机科学与技术学院，山西 太原0 3 0 0 2 4 摘 要 针 对 煤矿 井 下光 照 变化 较 大 、 矿 工 脸部 受 污染及 遮 挡 等 情 况 下主 动 形状 模 型 AS M 应 用 于井 下 人 脸跟 踪精 度低 的 问题 ， 提 出了一种 改进 AS M。首 先选 用 专 用的训 练 样 本 集 ， 通 过 定 义镜 像 图像 形 成镜 像 样 本 集 ， 然后 对镜 像 样本 集进 行 对数尺 度 化 处理 ， 并 用相 关块模 型作 为 AS M 的 学 习模 型进 行训 练 。 实验 结 果 表 明 ， 改进 AS M 能有效提 高煤矿 井 下人脸 跟踪 精度 。 关 键词 煤 矿 井下 ；人脸 跟 踪 ； 主 动形 状模 型 中图分 类号 TD 6 7 文献标 志码 A 网络 出版 时 间 2 0 1 7 0 2 2 8 1 7 0 1 网络 出版地 址 h t t p ／ ／ k n s ． c n k i ． n e t ／ k c ms ／ d e t a i l ／ 3 2 ． 1 6 2 7 ． T P ． 2 0 1 7 0 3 0 1 ． 1 5 1 4 ． 0 1 2 ． h t ml An i mp r o v e d a c t i v e s h a p e mo d e l f o r un de r g r o u n d f a c e t r a c k i ng ZHANG Xi u q i n ， WANG Ro n g ， ZHANG Yi n g j u n 1 ． De p a r t me n t o f I n f o r ma t i o n En g i n e e r i n g，En g i n e e r i n g Un i v e r s i t y o f t h e Ch i n e s e Ar me d P o l i c e F o r c e Xi a n 71 0 0 86，Ch i na；2． De p a r t m e nt o f Co m pu t e r Sc i e nc e a nd Te c hn ol o gy，Ta i y ua n Uni ve r s i t y o f S c i e n c e a n d Te c h n o l o g y ，Ta i y u a n 0 3 0 0 2 4 ，Ch i n a Ab s t r a c t Fo r l o w a c c u r a c y of f a c e t r a c ki n g a p pl y i ng a c t i v e s h a pe mo de l ASM i n c o nd i t i o n o f s ud de n c h a n g e o f i l l u mi n a t i o n a n d c o n t a mi n a t e d a n d c o v e r e d mi n e r f a c e i n u n d e r g r o u n d c o a l mi n e ，a n i mp r o v e d ASM wa s pr o po s e d．Fi r s t l y，m i r r o r s a m pl e s e t i s f o r m e d by de f i n i t i o n o f m i r r o r i ma g e wi t h s e l e c t e d s p e c i a l t r a i n i n g s a mp l e s e t ．Th e n，t h e mi r r o r s a mp l e s e t i s p r o c e s s e d b y l o g a r i t h mi c s c a l e ．F i n a l l y ，r e l a t e d b l o c k m o d e l i s u s e d a s ASM l e a r ni ng mod e l f o r t r a i ni n g． The e x pe r i me nt a l r e s u l t s s ho w t h a t t he me t h o d c a n e f f e c t i v e l y i mpr o ve a c c u r a c y of u nde r gr ou nd f a c e t r a c k i ng． Ke y wo r d s u n d e r g r o u n d c o a l mi n e f a c e t r a c k i n g；a c t i v e s h a p e mo d e l 0 弓 f 言 人 脸 跟踪 是人 脸识 别 系统在 人脸 检测 的基 础上 对 人 脸 进 行 进 一 步 的 确 认 _ 1 ] 。 主 动 形 状 模 型 Ac t i v e S h a p e Mo d e l ， AS M 应 用 于 人 脸 跟 踪 有 检 测速度较快、 定 位较精准 、 包含丰 富脸部信息等特 点 r 2 ] 。然而 受煤 矿井 下 与井 上光 照度 变化 较 大 ， 矿 工脸部易被 煤尘 污染及 安 全 帽遮挡 等 因素影 响， AS M 应用 于煤 矿井下人脸跟踪 时存在 以下 问题 ① 需要大量的训练数据 ； ② AS M 提取 的轮廓信 息 对 图像 的光照 度敏 感 。 ] ； ③ AS M 适 用 于 正 面人 脸 跟踪 ， 人脸 旋转 后跟 踪精 度下 降 。因此 ， 本文 针 对 煤矿井下复杂环境对 AS M 进行改进 ， 并通过实验 验证 了改 进 AS M 在煤 矿井 下人 脸跟 踪 的有效 性 。 1 ASM AS M 首先 提取 样本 图像 轮廓 的关键 特 征点 ， 形 成表 示 几何 特 征 的形 状 向量 n ， 再 通过 P r o c r u s t e s 归一 化 形 状 向量 ， 并 采 用 主 成 分 分 析 P r i n c i p a l C o mp o n e n t An a l y s i s ， P C A 方 法 获 得 全 局 形 状 模 收稿 日期 2 0 1 6 - 1 0 - 0 9 ； 修回 日期 2 0 1 6 1 2 2 6 ； 责任编辑 盛男 。 基 金项目 “ 十二 五” 山西省科 技重 大专项 资助项 目 2 0 1 2 1 1 0 1 0 0 1 ； 山西省科技攻关项 目 2 0 1 4 1 0 3 9 。 作者 简介 张秀琴 1 9 8 8 一 ， 女 ， 山西临县人， 助教， 硕士， 主要研究方 向为智能信息处理 ， E ma i l 5 7 4 3 7 5 8 7 1 q q ． c o rn。 5 4 工矿 自动化 2 0 1 7年 第 4 3卷 型 ] ， 然 后采 样 每 个 样 本 图像 中 的每 个 特 征 点 ， 再 进行灰度学习得到局部纹理模型 。 1 ． 1全 局 形 状 模 型 提取人脸部特征点 ， 并标注脸部特征点 的坐标 位 置 ， 这些 特征 点 坐标构 成 了形 状 向量 x 。脸 部 特 征点越多 ， 鲁棒性越好 ， 但增多脸部特征点数的同时 会增大计算量n 引。 X{ 一 E x 1 n z 2 z ] 1 式中 z ， 儿 为第 i i 一1 ， 2 ， ⋯， ， ， 2 为样本图像数 幅 图像 中第 z z 一1 ， 2 ， ⋯ ， k ， 志为 特 征 点数 个 特 征 点 的坐标 。 形状向量受人脸的姿态 、 角度及距离等 因素影 响 ， 坐标 比例尺寸各不相同， 因此对形状 向量进行适 当的平 移 、 旋 转及 缩 放实 现几 何变换 _ 1 。 一 ， 2 L ．y如 J 式 中 x为 几 何 变 换 后 形 状 向 量 ； M s ， 0 一 『 -- s s in ，0 ] ， 为 变 换 尺 度 ， 0 为 旋 转 角 度 ； l i n 。 J ， s 为 变 换 尺 度 ，为 旋 转 角 度 ； t 为位移 长 度 。 几 何 变换后 进 行 P r o c r u s t e s归 一化 _ 1 引， 使 几 何 变 换 后 的 形 状 向 量 与 平 均 形 状 向 量 对 齐。 P r o c r u s t e s 归一 化流 程 如 图 1所示 。 l 将 每 个 形 状 向 量 对 齐 到 第 1 个 形 状 向 量 I ’ l 计 算 对 齐 形 状 向 量 的 平 均 形 状 向 量 I 平均形状向量标准化 将 每 个 形 状 向 量 与 标 准 化 的 平 均 形 状 向 量 重 新 对 齐 l N 图 1 Pr o c r u s t e s归 一 化 流 程 采用 P C A方法对归一化后的形状向量进行分 析和降维 。计算归 一化后 的形 状 向量 的协 方差矩 阵 ， 求得协方差矩阵的特征值和特征向量 ， 并降序排 列特征值 ， 取一定数量的特征值 ， 使其总和占所有特 征值 总 和 的 9 5 以上 。一 定 数 量 的 特 征 值 所 对应 的特 征 向量 组成 空 间 向 量 ， 将 归 一 化 后 的形 状 向 量 投影 到 空 间 向量 得 到全局 形状 模 型[ 1 ] 。 1 ． 2局 部 纹 理 模 型 对 每个 特征 点 的局部 窗 口或 轮廓 法线 方 向 的纹 理采 样 向量 进 行 统 计 分 析 ， 得 出局 部 纹 理模 型[ 1 。 具体步骤 1 对 于 每 个 样 本 图 像 中 的每 一 个 特 征 点 ， 连 接该特征点与其相邻特征点 ， 在它们连线的法线方 向上 ， 以该 特征 点 为 中心 分 别 沿 法 线 方 向 的 两 侧 采 样 m 个 像素 ， 形 成一 个 长度 为 2 m1的灰度 向量 。 2 对向量 中像 素灰度值求导 ， 得到第 i 幅 图 像 中第 个 特征 点 对 应 的局 部 纹 理 g 。 同理 可 得 所有样本 图像 中第 z个特征点对应的局部纹理。 3 求第 z个特征点对应 的局部纹理的平均值 g 和协 方差 矩 阵 s 。 1 n 一 ∑g 3 三 1 Js 一 ∑ g 一 g 一g 4 7 7 1 4 局部 纹理 模 型用训 练 样本 中特 征点 的平 均 值 和协 方差 矩 阵来 表征 ， 又 叫平 均块模 型[ 1 。 2 改 进 AS M 2 ． 1 专 用镜像 样 本 集 收集煤矿井下的人脸样本 ， 构成专用人脸训练 样本集 ， 获取复杂 的表情和头部姿态的变化。将专 用人脸 训 练样 本集 中每个样 本 的对 称 面部 特征 点保 留 1个编号 ， 沿轴对称化标注后的样本为镜像图像 ， 并由此构成 镜像样本 集。在 编号数量相 等的情 况 下 ， 通过定义镜像图像使训练的特征点增加 了一倍 ， 训练 样本 集 中样本 数 量增 加 了一倍 。训 练 样本 集越 大 ， 算 法 鲁棒 性越 强 。 2 ． 2 图像 的对数 尺 度化 将镜像图像先转换为单位通道 图像 ， 再对单位 通 道 图像 中像 素值 J取 自然 对 数 ， 得 到 对 数 尺 度 化 后图像的像素值为 1 一 l n j 1 ． 0 5 2 ． 3相 关块模 型 的 学 习 相关块模型与含有脸部特征 的图像区域交叉相 关 时 ， 有 脸 部特 征 的图像 区域 的响应 强 ， 其他 区域 部 分 的响应则很弱 ， 因此 本文将相关块模 型作为学 习 模 型 。 目标 函数 式 6 的解 为相 关块 模 型 P。 钟h 删n ∑∑ ∑[ R z ， 一P w ] 。 6 一 1 O 一 O 式 中 W， h分别为相关块 模型的长和宽； R z， 为 理 想 的响应 矩 阵 ； z， ． ， 为 对 数 尺 度 化 处 理 后 图像 2 O 1 7年 第 3期 张 秀琴 等 一种 适 用于井 下人脸 跟踪 的 改进 主 动形状 模型 5 5 的坐标 ；表示 内积 操作 ； W J ∞ 一 ． 十 。h 十 J 为对数 尺度 化处 理后 图像 。 采 用 随机梯 度下 降法 求解 目标 函数 。随机梯 度 下 降法 通过 迭代 对 梯 度 方 向进 行粗 略 估 计 ， 用 一 个 小 的步 长乘 以梯 度方 向的反 方 向作 为 下一 步迭代 的 方 向 ， 在 多 次迭代 后 ， 步 长的值 会接 近零 。 目标 函数 的梯 度 为 ， J n，h D一 一∑ ∑ ∑E R x ， 一P w -1 w 7 I l J 一 1 Y 0 r f 1 于视频 流 中 相 邻 帧之 问 的变 化 较 小 ， 学 习相 关块 模 型时 ， 选择 前 一帧作 为 参考 帧 ， 利 用前 一 帧对 人脸 全局 变换 的估计 来对 当前 帧 的图像 尺度 变换 和 旋转 进行 归一 化 处理 ， 克服 尺 度变换 和旋 转 的扰 动 。 3实验 结果 与分 析 为验 证 改 进 A S M 的 有 效 性 ， 在 VS 2 0 1 0结 合 Op e n C V 的环 境 下进 行人 脸跟 踪实 验 。采 集煤 矿 井 下人 员 的人脸 图像 作 为 训练 样 本 集 ， 每 个 人 脸 样 本 图像 尺 寸为 1 6 O 2 0 0 ， 构 成 专 用 人 脸 训 练 样 本 集 。 每个样本选择 7 6个标记特征点 ， 脸部特征点数具体 分布 见表 1 。 表 1 脸部特征点数分布 首先通过定义镜像 图像形成镜像 样本集， 镜像 图像 的相 应标 注 如 图 2所示 。 罔 2标 注 的镜 像 图像 然 后 对镜像 样 本集 进 行对 数 尺 度 化处 理 。2幅 原 始 图像 图 3 a 中脸 部 区 域 光 照度 明显 不 同 ， 经 过 对数 尺 度化 处 理后 的 2幅 图像 图 3 b 光 照 度 基 本没 有 差异 ， 对 数 尺 度化 处 理 对 光 照 条 件 变 化 具 有 鲁棒 性 。 分 别 利用 平均 块模 型 和相 关块模 型得 到 人脸 图 像 眼角 区域 的响 应 图像 ， 如 图 4所示 。在 特 征 点 位 置周 围 ， 平 均块 模 型 生成 的 响应 图像 相 当光 滑 且 灰 度 变化 不 明显 ， 而 相 关块 模 型生 成 的响 应 图 像 则 灰 度 变化 明 。 a 原始图像 b 对数 尺度化后图像 图 3 图像的对数尺度化前后对 比 q a 限 角 区域 b半 均 块模 型 的 c 相 关 块 模 型 的 响应图像 响应图像 图 4 平均块模型与相关块模 型的响应图像 标 记特 征点 分别 与平 均块模 型 和相关块 模 型匹 配后的偏移像素值及偏移像素值对应的特征点数 占 标 记特 征点数 的 比例 如 图 5所 示 。从 图 5可 看 出 ， 改 进 AS M 的 匹配结 果 中绝大 部 分特 征 点 定位 的 偏 差存 2个像素 以内， 而 AS M 的匹配结 果 中绝大部 分特 征 点定位 的偏 差 为 3个 像 素或 更 多 ， 表 明改 进 AS M 的特征 点定 位精度 较高 。 4 [ ／ - t4 0 A S M ／ 。 ， 天 耋 s } 0 姜 ／ ． 立 0 I 2 3 4 5 6 偏移像素值 图 5 A S M 与改进 AS M 定位偏移结果 分 别 用 AS M 与改 进 AS M 跟 踪视 频 流 中 同一 帧 的人脸 ， 得 到跟 踪结果 如 图 6 所 示 。可看 出 AS M 用 于人脸 跟 踪 时 特 征 点 偏 移 较 多 ， 而改 进 AS M 的 人脸 特 征点定 位 准确 。 a AS M b 改 进 ASM 图 6 AS M 与 改进 AS M 的 人 脸 跟 踪结 果 不 同光 照 、 矿 工脸部 不 同污染 程度 下 ， 基 于改 进 AS M 的人脸跟 踪 结果 如图 7所 示 。对 比图 7 a 和 图 7 b ， 可看 出在 煤 矿 井 上 的光 照 条 件 下 ， 无 论 矿 工脸 部 是否被 污 染 ， 人脸 特 征点定 位效 果 良好 ， 逼 近 标 记特 征点 ； 对 比图 7 c 和 图 7 d ， 可看 出在 煤 矿 井下 的 光照 条件 下 ， 无论 矿 工脸部 是 否被污 染 ， 均 能 精确 跟踪 人脸 。 5 6 工矿 自动 化 2 0 1 7年 第 4 3卷 第 4帧 第 l 5帧 第 2 1帧 第 2 7帧 d 井下_ l 作 时的人脸跟踪结果 [ 2] E 3] [4] E 5] [6] [7] [ 8] [9] E l o ] 图 7 不 同条件下基 于改进 AS M 的人脸 跟踪 结果 E l 1 ] 4结语 针对煤 矿 井下 人脸 跟 踪 问题 对 AS M 进行 了改 进 。首先 选用 专 用 的训 练 样 本 集 ， 并 通 过 定 义镜 像 图像形 成 镜像 样 本集 ， 使 训 练样 本集 数 量 增 大 了一 倍 ； 然 后 对镜像 样本 集 进行 对数 尺度 化处 理 ， 减 小 了 不 同光 照度 对人 脸 跟踪 的影 响 ； 最后 将 相 关块 模 型 作 为 AS M 学 习模 型 ， 克 服 了尺 度 变换 和 旋 转 的扰 动 。实验 结 果表 明 ， 改 进 AS M 能 提 高 煤 矿 井 下 人 脸 跟 踪精 度 。 参考文献 [1 ] 陈立潮 ， 张秀琴 ， 潘 理 虎． 等． 煤 矿 考勤 系统 中人脸 识 [ 1 2 ] E 1 3 ] [ 1 4 ] [ 1 5 ] 别算 法的研 究[ J ] ． 工矿 自动化 ， 2 o 1 5 ， 4 l 4 6 9 7 3 ． 施华 ， 黄昶． 一 种 改进 的基 于 A S M 模 型 的人 脸跟 踪 算法E J ] ． 信息技 术 ， 2 0 1 5 ， 3 9 7 8 8 8 9 ． 何俊 ， 房 灵芝 ， 蔡 建 峰 ， 等． 基 于 AS M 和 肤色模 型的 疲劳驾驶 检测[ J ] ． 计 算机 工程 与科 学 ， 2 O l 6 ， 3 8 7 1 447 一 l4 53 ． 郑青 碧 ， 王宏 勇． 一种基于 肤色 特征 的人脸 特征 点定 位方 法[ J ] ． 陕 西 科技 大 学学 报 自然科 学 版 ， 2 o 1 4 1 l 5 6 - 1 6 0 ． 吴业 福 ， 李 波 ， 师 宁 ， 等． 人 脸 检 测 与 实 时 跟 踪 在 机 动 车道路 考试系统 中的应用研究[ J ] ． 交通信 息与安 全 ， 201 3， 3l 1 11 3 - 1 1 6． 桑海 峰 ， 吴丹 阳， 王会． 视频监 控下的人脸跟踪 与识别 系统 [ J ] ． 计算机工程与应用 ， 2 0 1 4 ， 5 0 1 2 1 7 5 1 7 9 ． 刘 爱平 ， 周焰 ， 关 鑫璞． 基 于 H a u s d o r f I 距 离 和 改进 A S M 的人脸跟踪方法I - J ] ． 计算机 应用研 究 ， 2 0 0 7 ． 2 4 1 0 1 72 1 75 ． 牛玉梅 ， 陈立潮 ， 潘理虎． 煤矿井下人员人脸 轮廓提取 方法[ J ] ． 工矿 自动化 ， 2 0 1 5 ， 4 1 1 5 3 5 7 ． 李伟生 ， 张燕 ， 周丽 芳． 一 种姿 态变化 下的 A S M 人脸 特征定位方 法 [ J ] ． 计 算机 应 用 研 究 ， 2 O 1 2 ， 2 9 1 2 4 76 4 476 6． 田华 ， 蒲 天银． 一 种 改进 的 A S M 人 脸 特征 点定 位 方 法[ J ] ． 重 庆 邮 电 大 学学 报 自然科 学 版 ， 2 0 1 4 ， 2 6 1 1 24 一 l 3 O． LI U A P。ZH OU Y，GUAN X P． Appl i c a t i on of i mp r o v e d a c t i v e s h a p e m o d e l i n f a c e p o s i t i o n i n g E J ] ． Co mput e r En gi n e e r i n g， 2 0 07， 3 31 8 2 27 2 29． 张秀琴． 煤 矿井 下人 员考勤 系统 中的人 脸识 别 [ D] ． 太原 太原科技大学 ， 2 O 1 5 1 2 1 4 ． 李艳． 基 于小波 变换 和 P C A类 方法 的人 脸识 别技 术 研究[ D ] ． 西安 西安 电子科技大学 ， 2 O 1 4 2 1 2 2 ． F AN Y H， MA J W ．AS M a n d i mp r o v e d a l g o r i t h m f o r f a c i a l f e a t u r e l o c a t i o n E J ]J o u r n a l o f C o mp u t e r Ai d e d De s i g n Co mp u t e r Gr a p h i c s ， 2 0 0 7。 1 9 1 1 1 41 l 一 1 41 4． BAGG1 0 D L，EM AM I S，ESCRI VA D M ．e t a 1 ． M a s t e r i ng Ope n CV wi t h Pr a c t i c a l Compu t er Vi s i on P r o j e c t s [ M] ． B i r mi n g h a m P a c k t P u b l i s h i n g ． 2 O 1 2 22 4 2 3 2． ～ 一 墨 一 ■ 一 ■ 匿 置 ■ ■ 黧 X ■ ■ 匿 一 置 一 ■ 一 一