智慧矿山智能决策支持技术架构设计.pdf

第 4 3卷 第 9 期 2 0 1 7年 9月 工矿 自 动化 I n d u s t r y a n d M i n e Au t o ma t i o n V0 1 ． 4 3 No ． 9 Se p ． 2 0 1 7 文 章编 号 1 6 7 1 2 5 1 X 2 0 1 7 0 9 0 0 2 1 0 5 D OI 1 0 ． 1 3 2 7 2 ／ j ． i s s n ． 1 6 7 1 2 5 l x ． 2 0 1 7 ． 0 9 ． 0 0 4 智慧矿山智能决策支持技术架构设计 高文 1 ． 中煤 科工 集 团常州 研究 院有 限公 司 ，江苏 常州 2 1 3 0 1 5 ； 2 ． 天地 常州 自动 化股 份有 限公 司 ，江苏 常 州 2 1 3 0 1 5 摘要 在 分析矿 山 决策 支持 系统应 用现状 的基 础上 ， 提 出基 于新一 代 大数据技 术 和云计 算技 术的智 慧矿 山智能决策支持技 术架构 。该架构采用 Ha d o o p等大数据技术解决传统决策支持 系统存在的无法水平扩展 计 算资 源、 响应 时 间长及 无法把 离散 的 管理信 息数 据与 自动化 测控 数据 相结 合进行 数 据分析 等 问题 ， 通 过 引 入 流式计 算解 决传统 决策 支持 系统 无法 有效 处理 无界数 据 的 问题 。该 架构 具有 可承 载矿 山专 业业务分 析模 型和 常规 管理信 息化 业务 分析 模型 的能 力 ， 可全 面 融合“ 人 ” 、 “ 机 ” 、 “ 环” 、 “ 管” 相 关数据 ， 形 成 综合 性 较 强 的 决 策支持信 息 ， 为 实现矿 山“ 智 慧化” 提 供 核心技 术支持 。 关键词 智慧矿 山 ；智 能决策 支持 ； 技 术 架构 ；大数 据 ；云 计算 ；流 式计 算 中图分 类号 TD 6 7 文献标 志 码 A 网络 出版 时 间 2 0 1 7 0 8 2 8 1 0 2 4 网络 出版地 址 h t t p ／ ／ k n s ． c n k i ． n e t ／ k c ms ／ d e t a i l ／ 3 2 ． 1 6 2 7 ． T P ． 2 0 1 7 0 8 2 8 ． 1 0 2 4 ． 0 0 4 ． h t m1 De s i g n o f i n t e l l i ge n t d e c i s i o n s up p o r t t e c h no l o g y a r c h i t e c t u r e f o r wi s d o m mi ne GAO W e n 0 1． CCTEG Ch a ng z h ou Re s e a r c h I ns t i t u t e，Cha n gz ho u 2 1 3 0 1 5，Chi na； 2 ． Ti a n d i Ch a n g z h o u Au t o ma t i o n Co ． ，Lt d． ，Ch a n g z h o u 2 1 3 0 1 5 ，C h i n a Ab s t r a c tI nt e l l i ge nt d e c i s i o n s u p po r t t e c hn ol o g y a r c hi t e c t u r e f or wi s d o m mi n e ba s e d o n n e w g e n e r a t i on o f bi g da t a t e c hn ol o g y a n d c l o u d c o mpu t i n g t e c hn ol o gy wa s put f o r wa r d ba s e d o n a na l ys i s o f a ppl i c a t i o n s t a t u s o f mi ne d e c i s i o n s u pp o r t s ys t e m ． The a r c hi t e c t ur e us e s Ha do o p a n d o t he r b i g d a t a t e c h no l og i e s t o s ol v e p r o bl e ms of t r a di t i o na l d e c i s i on s up po r t s ys t e m ， i nc l ud i ng un a bl e t o h or i z o nt a l l y e x p a nd c o mput i ng r e s ou r c e s ， l o n g r e s po ns e t i me， a nd un a bl e t o a n a l yz e d a t a c ombi ni n g wi t h di s c r e t e ma n a g e me n t i n f o r ma t i o n d a t a a n d a u t o ma t e d me a s u r e me n t a n d c o n t r o l d a t a ； t h r o u g h i n t r o d u c t i o n o f s t r e a m c a l c ul a t i o n，s o v l e s p r obl e m t ha t t he t r a d i t i o na l de c i s i o n s u pp or t s y s t e ms c a n n o t e f f e c t i v e l y d e a l wi t h unb ou nd e d d a t a．Th e a r c hi t e c t ur e ha s c a pa b i l i t y o f c a r r y i n g o ut pr o f e s s i o na l a n a l ys i s mod e l o f m i n e an d i n f o r m a t i o n bus i ne s s a na l y s i s mo de l f or g e ne r a l ma n a ge m e nt ，i t c a n f ul l y i nt e gr a t e r e l e v a n t da t a o f ’ ‘ p e o pl e ”，” ma c h i ne ” ，” r i ng”a nd ” m a n a g e me n t ”，f or m a c o mpr e h e ns i v e de c i s i on s up po r t i n f o r ma t i o n，a n d p r ov i d e c o r e t e c hni c a l s u pp o r t f or r e a l i z a t i on of mi ne i n t e l l i g e nc e． Ke y wo r ds wi s d o m mi ne； i n t e l l i ge n t de c i s i o n s u p po r t ； t e c h no l og y a r c hi t e c t ur e； bi g d a t a； c l ou d c o mput i ng； s t r e a m c al c u l a t i o n 收稿 日期 基 金 项 目 作者简介 引用 格 式 2 0 1 7 - 0 6 1 6 ； 修 回日期 2 0 1 7 - 0 7 1 7 ； 责任编辑 胡娴。 天地科技股份有限公 司智 慧矿 山专项项 目 2 0 1 6 - Z HKS Z X 一 0 3 ； 天地 常州 自动化股份有 限公司科研项 目 2 0 1 7 GY0 0 6 。 高文 1 9 8 1 一 ， 男， 山西朔州人 ， 工程师 ， 主要研究方向为煤矿信息化 软件、 监测监控软件 、 云计算和大数 据应 用等 ， E - ma i l d i g i t a l 一 1 6 3 ． c o rn。 高文． 智慧矿山智能决 策支持技术架构设计[ J ] ． 工矿 自动化 ， 2 0 1 7 ， 4 3 9 2 卜2 5 ． GAO we n ．D e s i g n o f i n t e l l i g e n t d e c i s i o n s u p p o r t t e c h n o l o g y a r c h it e c t u r e f o r wi s d o m mi n e [ J ] ． I n d u s t r y a n d Mi n e Au t o ma t i o n， 2 0 1 7 ， 4 3 9 2 1 2 5 ． 2 2 工矿 自动化 2 0 1 7年 第 4 3卷 0 引言 当前 社 会 已 经进 入 了智 慧化 社会 ， 而 数字 化 矿 山也 正在 向着智 慧矿 山发 展 。具有 智能 决策 支持 能 力 是智 慧矿 山的关 键 特 征 之一 ， 智 慧矿 山系 统 可 实 现 自主的智能分析 ， 具有知识积累和模式发现能力 ， 可 以在 原始 数据 的基 础之 上为决 策 者提供 深 度分 析 后 的 高价值 信 息 ， 辅 助 矿 山安 全 生 产 和 经 营 管 理 。 本 文通 过 阐述智 慧矿 山建 设现 状及 数据 分析 技术 的 应 用 现状 ， 表 明 了决 策支 持系 统还存 在性 能 不足 、 数 据 缺失 、 关联 性分 析 和综合 性分 析较 弱 的问题 ， 针 对 这 些 问题 ， 提 出了基 于 新 一 代 大数 据 技 术 的智 慧 矿 山智能决策支持技术架构设计方案 ， 着重介绍 了架 构体 系的组 成 和关键技 术 实现方 法 。 1智 慧矿 山建 设现 状 随着数 字化 矿 山建 设 的不 断深 入 ， 各 研究 院所 、 厂 商 和矿 山企业 纷纷 投入 到数 字矿 山及 智慧 矿 山的 研 究 和建设 中， 通过建 设 自动化 监测 和控 制 子系统 、 工 业 网络 、 信 息 化管 理平 台等 分类 项 目， 取得 了一 定 的成 效 。虽 然从 事 矿 井数 字化 建 设 的 厂 家很 多 ， 但 由于采矿行业的专业性相对较强 ， 每个厂商又都只 专 注 于 自己擅 长 的领 域 ， 所 以 ， 只是 实 现 了生 产 、 安 全 、 管理 数据 的集 中采 集 、 存 储 与 展 示 ， 未 考 虑 对数 据 的深 度融 合 ， 在数 据 综 合 利 用及 如 何 为 煤 矿 精 细 化管理提供决策支持方面考虑较少 。除了部分大型 矿 山 企 业 实 现 了 传 统 商 业 智 能 B u s i n e s s I n t e l l i g e n c e ， B I 系 统 的 运 营 指 标 和 模 拟 推 演 功 能 [ 1 ] ， 以及类 似通 风 网络解 算 、 灾 害 预警等 独立 专 业 软 件 ， 未见 决策 支持 方 面 深 入 应 用 和综 合 平 台化 应 用 的案 例 。 智慧企业不是传统的数字化、 信 息化 、 智能化 ， 它是在企业实现业务量化的基础上 ， 将先进 的信息 技 术 、 工业 技 术 和 管 理 技 术 高度 融 合 ， 从 而 产 生 的 一 种全 新 的 、 具 备 自动 管 理 能 力 的企 业 组 织 形 态 和 管 理模 式 2 ] 。智 慧 矿 山也 在 智 慧 企 业 的 范 畴 中 ， 同 样 应遵 循上 述 基本 规 律 。但 在矿 山行 业 ， 与一 般 企 业 不 同 的是 ， 由于 矿 山企 业 生 产 条 件 复 杂 、 环 节 多 、 不 可 预见 因素 多 ， 难 以像 制 造 业 等行 业 一 样 对 需 求 进 行 实 时 精 准 的预 测 ， 建 立 实 时 的客 户反 馈 机 制l_ 3 来调节生产 。同时 ， 在信息技术方面 ， 由于数字化矿 山缺少完整统一的标准与规范体 系支撑 ， 使得矿 山 在进 行类 似项 目建 设 时 缺 乏 上 层规 划 与 总体 设 计 ， 导致 在实 际建设 过 程 中 ， 系统 零 散 、 重 复 投 资 、 新 的 信 息 孤 岛等 问题 较 为 突 出 。因此 ， 在智 慧矿 山建 设 中应 把新 一代 大数 据分 析技术 应 用在决 策 支持架 构 中 ， 通 过统一 平 台 、 容纳 异 构 业 务 系统 、 增 强非 结 构 化 数据 处理 能力 等解决 上 述 问题 。 2数 据分析 技术 在智 慧矿 山中的应 用 当前 ， 我 国许 多 矿 井 的信 息 化建 设 已经深 入 到 安 全生 产过 程 的各个 方 面 ， 采 集 到 海 量 的传 感 器 数 据 和人 工录入 数 据后 ， 如何 充 分 利 用 这些 数 据 并 使 其产生价值 ， 从而为矿井 安全生产提供一定 的决策 支 持 ， 是 许多 现 代化 矿 井 面 临 的 问题 。典 型 的大 数 据分析应用有设备健康状况分析和综采工作面分析 等 。设 备健康 状况 分 析 为每 一 种设 备 建立 健 康 模 型 ， 当报警次数多、 时间长时， 健康值就会下降 ； 通过 对 采集 的数 据建 立 一个 固定 时 间 宽度 的滑 动 窗 口， 在 窗 口上建立 相应 的 回归 预 测模 型 ， 实 现对 设 备 健 康状况的预测L 4 ] 。综采工作面分析 提供设备故障 诊断、 工作面顶板管理、 周期来压预测 、 操作行为改 进 等分 析功 能 。 类 似 这 样 的大 数 据分 析应 用 已 在 部 分 煤 矿 运 行 ， 但效 果 尚待 观察 。从技 术层 面来看 ， 出现 的问题 主要有传感器安装不足导致 的监测参数缺失 ， 日常 运维没有跟上导致 的传感器损坏 、 数据漂移 、 误报警 等 ， 这就使得应用在初期达到了一定的效果 ， 后期逐 步偏离 目标 。单纯依靠传感器获取监测数据的问题 在 于数 据来 源较 为单一 ， 数 据之 间没有 佐证 ， 关联 分 析 较弱 ， 且 大 量 安 装 传 感 器 成 本 较 高 ， 在 非 关 键 环 节 、 非关键设备上常常不装传感器 ， 导致信息缺失。 因此， 在智慧矿山的大数据分析中， 应该将传感器数 据 、 监 控视频 流 、 音 频 流 和人 工 产 生 的数 据 相 结 合 ， 共 同参 与 到分 析模 型 中 ， 实 现 综合 分 析 。从 应 用 层 面来看 ， 矿 山生 产过程 中“ 人” 、 “ 机” 、 “ 环” 、 “ 管 ” 各方 面 在事 实上 是互 相关 联 的 ， 单 独 割 裂 开 来进 行 分 析 应用必然导致结果不准确或决策参考价值较低 。传 统 的 数据分 析重 点放 在 “ 机 ” 和 “ 环 ” 方 面 ， 对 于灵 活 多 变 的“ 人” 和“ 管” 因素缺 乏有效 的结 合 。从大 数据 在 其他 行业 的应 用经 验来 看 ， 人 的行 为数 据 、 管 理 中 产 生 的过程 数据 都是 分析 的重 点 。 在数 据 分析 应 用 技术 架 构 和 落地 实 施方 面 ， 矿 山专业 软件 带有 数 据分 析 模 型 和 结 果 展示 功 能 ， 这 些 软 件基本 上是 自有 软件 架构 、 自有 分析 模 型 ， 数据 互 通 性差 ， 模 型 也无 法 移 植 到 新一 代 通 用 大 数 据分 析平台中运行 ； 而对于管理信息系统类型的数据分 析产品， 大多数使用的仍然是较为传统 的 B I 技术 ， 通 过使 用数 据抽 取 、 转 换 、 装 载 E x t r a c t Tr a n s f o r m L o a d ， E TL 技术从原始数据库中抽取数据 ， 建立数 据 仓 库 ， 构 造多 维数 据集 ， 再进 行报 表制作 。整个过 程 中出现 的 问题 多 来源 的数 据结 构混乱 ， 梳 理清楚 2 0 1 7年 第 9期 高文 智 慧矿 山智 能 决策 支持 技 术架 构设计 2 3 需 要 较长 的时 间 ， 沟通 成 本 巨大 ； 实施 时 间很 长 ， 从 需 求 提 出到报 表制 作 完 成 时 间太 长 ， 无 法 及 时 响应 多变的需求； 涉及到传感器产生的大批量数据时， 只 能定 制开 发相应 的数 据抽 取 和处 理 软 件 ， 无 法建 立 统一 的架 构 ， 也 就无 法 有 效 地将 自动 化 测 控数 据 和 管理 信息 系统 数据相 结合 进行 分析 。 针对 上 述 现状 ， 在 智 慧 矿 山智 能决 策 支 持技 术 架构 的设计 中 ， 应重 点 考 虑 数据 分 析 过 程 中的数 据 全 面性 ， 并 基 于这个 要求设 计一 种 能够容 纳结 构化 、 非结 构化 各类 数据共 同参 与 的分析 平 台。 3智能 决策支 持技 术架构 设计 由于决策 支 持 的 业 务 范 围较 广 ， 矿 山 安 全 、 生 产 、 经 营管 理等 多方 面都 可能涉 及 到 ， 所 以在设 计架 构时 需要 提取公 共 模块 做 较 高 层 次 的 抽象 ， 同 时架 构还 要容 纳 专 业 模 块 的 多 种 业 务 数 据 、 业 务 模 型 。 从技 术层 面来 看 ， 智 能 决 策 支 持技 术 架 构 应 满 足如 下要 求 。 1 统 一基 础平 台 。基 于 Ha d o o p等 新 一代 大 数据技术 ， 实现矿山数据抽取、 存储和分析处理 ， 实 现矿山决策支持模型的运行和管理 ， 形成云端智能 决策支持承载平台。针对现有的数字化矿 山系统无 统一的决策支持技术架构 ， 导致 已抽取好的源数据、 已形 成 的部分 数据 模 型无 法接 入 云 端 平 台 的 问题 ， 形成 统一 、 标准 化 的技 术架 构 ， 使 矿 山用户 可继 续利 用 已有 的信息 化资 源 和 资产 ， 通过 升 级 改 造 接入 云 端 ， 同时还可以在本地提供一部分离线智能决策分 析 的功能 。 2 统一数据描述 。针对现有 的数据决策分析 模型 无统一 规 范 、 难 以在 同一个 平 台运 行 、 难 以在 云 端以服务形式发布的问题 ， 形成基于云计算架构的 大数据决策分析模型承载规范 ， 使得平台能够对模 型进 行统 一处 理 、 运 行和 发布展 示 ； 统 一规 范平 台及 其接 入子 系统 各层 级 的业 务 范 畴 ， 提 出公 共 的数 据 描述 规则 ， 按数 据类 型 限定 传输 格式 ， 理清不 同抽 象 层次 的数 据范 围 ， 确 定 上 层 在抽 取 下 层 数据 时 的取 舍规则 ， 为源数据接入决策平台的 E TL过程提供规 范和 依据 。 3 高性 能 。为 了实现海 量 数据 条 件下 的实 时 分析 要求 ， 需要 内存 计 算 、 列 计 算 、 分 布 式计 算 等 技 术来 支持 ， 达 到对 于每 个 分 析 主题 均 能 在最 短 时 间 内响 应用 户查 询 的效 果 。采用 S p a r k等新一 代数 据 处理 框架 可 以有效地 解决 传统 数据分 析技 术性 能不 足、 无法水平扩展计算资源等问题。 4 自助 服务 能 力 。在 数 据 分 析 时 ， 用 户 可 以 自由地对 数据 进行 E T L处 理 ， 可 以随 意切 换 维 度 ， 进行 无 限层 次 的透视 分析 ， 均 为可视 化操作 ， 无须 编 辑代码 和脚 本 ； 对 于 常 规 的 结 构 化 数 据 ， 从 数 据 抽 取 、 数据 清洗 到多维 数据 库表 ， 再到前 端 的多维分 析 都提 供一体 化 的 自助 服 务 ， 加 速从 需 求 提 出 到结 果 展示 的过程 ， 快 速迭代 。 依 据 上 述 要求 ， 智 慧 矿 山智 能 决 策支 持技 术 架 构如 图 1 所 示 。 l安 全 管 理 系 统 K a tk a 高 价 值 密 度 l G re e n p lu m 结 构 化 数 据 l T e ra d a ta l 数 据 显 示 屏I 0 P C 统 R T S P l 报 表 系 统 l ． 统 存 D f 储 结构化数据 0 l I m p a la 卜 生产过程系统 Mo d b u s 接 层 C - h k l ● 】 入 一 k ⋯⋯一l I T ⋯ 。 自 助分析 层 H e l ⋯ V MQTT D r F 半 结 构 化 数 据l 层 多 维 展 现 l S Sq oo p 一 丽 等 g 监 控 预 警 经 营 管 理系统 自 定义E T L 非结构化数据l l ⋯⋯‘ ● 决 策 支 持 统 一 管 理 平 台 巨 至 三 亘 囹匪 垂 星 至 三 ] 臣 豆 亟 回 [ 垂 至 三 ] [ 至 三 至 ] 臣 亘 垂 圈[ 至 日 图 1 智慧矿 山智 能决策支 持技术架 构 Fi g ． 1 I n t e l l i g e n t d e c i s i o n s u p p o r t t e c h n o l o g y a r c h i t e c t u r e f o r wi s d o m mi n e 整体架构分为业务系统、 数据汇接 、 分析平 台、 系统 、 监测系统和视频监控系统等 ， 这些系统是决策 数据应用和决策支持统一管理平 台 5个部分。 支持技术架构中的原始数据来源。 1 业 务 系统 。业务 系统 包括 矿 山 企业 已建 成 2 数 据 汇接 。数据 接 入 方 面 在 传 统 B I 和 数 的安全 管理 类 、 生产过 程类 和经 营管 理类 系统 ， 既有 字矿 山等 系统 的建 设 过 程 中已经 发 展 得较 为 成 熟 ， 一 般 的管理信 息 化 软件 系统 ， 也 有 工 业 自动 化控 制 但存 在视频 流 需要 单 独 处 理 、 新 一 代 物 联 网协 议 支 2 4 工矿 自动化 2 0 1 7年 第 4 3卷 持度不佳等问题。智能决策支持技术架构通过增加 统一 接入 层 ， 把各 种类 型 的 协 议 、 接 入 方 式 统 一 在 一 个 平 台上处 理 ； 使 用 Ka f k a中间 件 解 决 高吞 吐量 条件 下可 靠 的消息 订 阅／ 发 布 问题 ， 采 用消 息 队列遥 测 传 输 Me s s a g e Qu e u i n g Te l e me t r y Tr a n s p o r t ， MQT T解 决 物 联 网 设 备 接 入 问 题 ； OP C 和 Mo d b u s 协议用于连接传统 的工业 自动化系统 或设 备 ， 使用开源工具 S q o o p或 自定义 E TL组件抽取传 统关 系 型数 据库 和文本 类 型的数 据 。数据 汇接 过来 后 ， 保 存 在 统 一 的Ha d o o p 分 布 式 文 件 系 统 Ha d o o p Di s t r i b u t e d F i l e S y s t e m， HDFS 中。基 于 性 能方 面的 考虑 ， 可按 高价值 密 度结 构化 数据 、 结构 化数 据 、 半结 构化 数据 和非 结构 化数 据来 分 区保 存 。 3 分 析平 台 。为 了承载 多种 数 据分 析 组 件 和 方法 ， 通 过 增 加 基 于 D o c k e r 技 术 的容 器层 ， 可 以在 统 一 的基 础计 算平 台上 同时运行 大量 异 构分析 业务 应用 。对 于 高密度 价 值 的结 构 化 数 据 ， 可使 用 大规 模 并 行 处 理 Ma s s i v e P a r a l l e l P r o c e s s ， MP P 类 型 的 数 据 分 析 工 具 来 进 行 处 理 ， 如 Gr e e n p l u m 或 T e r a d a t a ， 这样 可 以有 效 解 决 自助 分 析 过 程 中 的 响 应 时间 问题 ； 对 于海量 的结 构化 和半 结构 化数 据 ， 采 用基于 Ha d o o p框架的上层组件 I mp a l a 或 Hi v e进 行 分析 ； 对 于无界 的 非结构 化数 据或 测控 数据 ， 采 用 实 时 流 计 算 工 具 S p a r k S t r e a mi n g或 S t o r m 来 处 理 ， 可 以提供 不 问断 的事 件 触发 机 制 和滑 动 窗 口数 据分析功能 。上述不 同的组件和工具可 以提供完整 地处 理异 构 数据 、 快 速构建 面 向主题 的数 据仓 库 、 高 效分 析数 据 间关联 关 系和 准确 描述数 据 相关 性l 5 等 功 能 ， 并 且 支持 去 中心 化 协 议 ， 选 出主 节 点 以后 ， 再 结 合 中心化 副本 控制 协议 完成 系统 整体 的分 布 式 节 点管 理 。 4 数据 应用 。架 构支 持 常见 的数 据 显示 屏 展 示 、 报 表 系统 、 多维 展 现 和 监控 预 警 等 数 据 应 用 ， 同 时支持在线 的自助分析功能 ， 可以快速提取数据、 快 速 构建 查询 和 生成 图表 ， 过 程 中无 需 软件 开 发 人 员 编 写代 码 ， 通过 可视 化方 式完 成操 作 。 5 决策 支持 统一 管理 平 台 。智 能决 策支 持 架 构 的整体管 理 由统 一 的 管 理平 台完 成 ， 其 中统 一 数 据 描 述管理 用 于解决 异 构数据 源 对业务 数 据描述 不 一 致 的 问题 ， 授 权 和 审计 提 供 了细 粒 度 的权 限管 理 和 事 务 日 志 存 档 功 能 ， 可 视 化 集 成 开 发 环 境 I n t e g r a t e d De v e l o p me n t E n v i r o n me n t ， I DE用 于 支持业务模 型开发和 自助分析 ， 数据清洗提供 了矿 山行 业信 息化 系统 常 用 的噪声 数 据 过 滤 功 能 ， 作 业 开发用于编排数据分析事务过程 ， 集群资源管理实 现 内存 、 C P U、 网络 资 源 和 磁 盘 I ／ O 等 计 算 资 源 的 分配 和 回收功 能 ， 任 务 调 度 提 供 业务 分 析 应 用 的 排 队 、 优 先级 等调 度管 理功 能 。 4关 键技 术 4 ． 1 异 构业务 承 载技 术 为了兼容 不 同的业 务分 析需求 ， 架构 提供 了 一 种 支持 多业务 模 型 的承 载容 器 ， 容 器 层 对 上 为应 用层 提供 统一 的数 据 接 口 ， 对 内封装 不 同业 务 的 数 据和操 作 ， 对下 提 供 基 础计 算 资 源 的统 一 管理 。容 器技 术指 的是把 业 务处 理 功 能 打 包 在一 个 类 似 “ 集 装箱 ” 的环 境 中 ， 与 系 统 内其他 进 程 相 互 隔离 ， 互 不 影 响 。与 常规 虚拟 机 的机 制有 所 区别 的是 ， 当容 器 启 动时 ， 仅 是通 过进 程 间调度 ， 而不 需要 引导 整个 系 统 。通过 使用 轻量 化 的 D o c k e r 容 器 承 载 矿 山 不 同 的业 务计 算模 型 ， 构 建一 个将 不 同的数 据分析 模 型 、 工具 或 系统整 合在 一 起 的大数 据 分 析 处 理 平 台 ， 允 许不 同 的大数 据分 析应用 在 同一个 集群 内共 享计算 资源 ， 但在 逻辑 上 又互相 隔离 ， 保证 了异构业 务正 常 运行 E 。 4 ． 2流式计 算技 术 针对 矿 山数 据 的多 样 化特 性 ， 特 别 是矿 山测 控 系 统产生 的 实时数 据 的存 储 和 管 理 问题 ， 可 引 入 流 式 计算方 案 ， 以应 对 高 速 时序 数 据 的在线 模 型 分 析 和运 算 。流式 计算 是一 类针 对流 数据 的实 时计算 方 法 ， 可有 效地 缩短 数 据 计 算延 时 ， 实 时化 计 算 逻 辑 ， 按 照时 问顺 序对数 据 提 供 订 阅 和 消 费功 能 ， 数 据 流 长 久且持 续地 进入 流 计 算 系 统 ， 一 旦 有新 的流 数 据 进 入 ， 流 式计 算立 刻 发 起 并 进行 一 次计 算 任 务 。流 式 计算 可执 行响 应 函数 、 聚合 和 滚 动 指 标 等方 面 的 计 算 ， 满 足 了智 慧矿 山 中测 控数 据 、 视 频数 据 和音频 数 据 的处理 和分 析要求 。 4 ． 3数据 流 降载技 术 在 处理 生产 过程 自动 化数 据 、 视 频监 控 可 变码 率 数据 时 ， 常常 出现 瞬 时 突发 大 流 量数 据 的情 况 ， 通过缓存数据流降载技术可保障系统稳定运行 。 当数据 流大 于 系统 处 理 能力 时 ， 首 先 填 充 缓存 等待 后 续处 理 ， 如果 出现缓 存不 足 的情况 ， 则 需要采 用 降 载 技术 。降 载技 术 是 在 尽 可 能 保 留 数 据 特 征 的 同 时 ， 删 除冗 余数 据 ， 这 种技 术会 尽量 减小 对数据 流 最 终 处 理 的影 响 ， 具体 方法 包括 直 方 图 降载 方 法_ 1 。 。。 和 模 式 特征保 持 降载方 法n 等 。在 降 载过 程 中， 如果 平 台中新的计算资源分 配完成 ， 就可 以关闭降 载。 降载 技术 可作 为提 高系统 可用 性 的一种 应急 机制 。 4 ． 4 数据 隔 离和计 费技 术 新一代 大 数据 的基础 组件 侧重 于完 成数 据 的存 储和运算 ， 数据 的隔离不是其关注 的重点。而上层 2 0 1 7年 第 9期 高文 智 慧矿 山智 能 决策 支持技 术 架构设 计 2 5 应 用更 关注 数据 的使用 和业 务 逻 辑 的 实 现 ， 对 于缺 失 的数 据 隔离 功能 ， 可 在 存储 层 和容 器 层 共 同 配合 解 决 。数据 隔 离可 使用 多种 方 法 来 实 现 ， 在 数 据存 储 层 面 ， 可 以按 用户 角色 给数据 打上 标签 ， 粒度 可 细 化 到行 、 列 级别 ； 在 容 器层 面 ， 可 以为 用 户 分 配互 相 隔离 的轻 量级 计算 容 器 ， 同一 用 户仅 能 在 容 器 内部 执行业务计算 ， 而又可以共享基础计算资源 。 作 为通 用 的业 务 容 器层 ， 在访 问计 费方 面提 供 的是 基础 性 数 据 ， 例 如 用 户 停 留 时 间 、 用 户 基 本 信 息、 本次访 问的数据量 、 计算所用集群节点 C P U 核 数 、 内 存 使 用 峰 值 等 。 这 些 基 础 数 据 通 过 微 服 务[ 1 2 1 3 的形式 对外 发 布 ， 可 由计 费 组件 获取 并 按 预 定 的规则 计算 费用 。 5 结语 智慧矿山智能决策支持技术架构解决了传统决 策支 持 系统业 务分 散 、 模 型不 能共 享 、 数 据 处理 能力 不足 、 实施 成本 高 、 门槛 高 等 问题 ， 基 于 云服 务 模 式 的智 能决 策应 用承 载平 台使 得矿 山具备 了对不 同业 务 的决策 支持 系统 进行 顶层 规划 、 统一 实施 的能 力 。 后续 在智 慧矿 山项 目中还需要 对 架构 中 的视频处 理 过程 做 进一 步优 化 ， 例 如从 视频流 中提取有 效 的 、 正 确率较高 的结构化数据 的功 能 尚待完 善； Ha d o o p 体 系也 在不 断 演 化 发 展 ， 大 量 敏捷 B I产 品 不 断 涌 现 ， 在决 策 支 持 的 人 机 交 互 方 面 可 引 入 虚 拟 现 实 Vi r t u a l Re a l i t y ， VR 、 增 强 现 实 Au g me n t e d Re a l i t y ， AR 和 混 合 现 实 Mi x e d Re a l i t y ， MR 技 术 ， 进一 步 降低 多维度 信息 的理解 门槛 。 参考文献 R e f e r e n c e s E 1] E 2] [3] [4] 韩建 国． 神华智能矿山建设关键技术研发 与示范I- J ] ． 煤炭学报 ， 2 0 1 6 ， 4 1 1 2 3 1 8 1 - 3 1 8 9 ． HAN J i a n g u o ． Ke y t e c h n o l o g y r e s e a r c h a n d d e m o n s t r a t i o n o f i n t e l l i g e n t mi n e s i n S h e n h u a Gr o u p [- J ] ． J o u r n a l o f Ch i n a Co a l S o c i e t y ， 2 0 1 6 ， 4 1 1 2 3 1 8 1 3 1 8 9 ． 涂扬举 ， 郑 小华 ． 建设智慧企业 ， 实现 自动管理[ J ] ． 清 华管理评论 ， 2 0 1 6 1 0 2 9 3 7 ． 李梅 ， 杨 帅伟 ， 孙 振 明， 等． 智慧矿 山框架 与发 展前 景 研究E J ] ． 煤炭科学技术 ， 2 0 1 7 ， 4 5 1 1 2 1 1 2 8 ． LI M e i ， YANG Shua i we i ， SUN Zhe n mi n g， e t a 1 ． St ud y on f r ame wo r k a n d de v e l op m e nt p r o s pe c t s of i n t e l l i g e n t mi n e [ J ] ．C o a l S c i e n c e a n d T e c h n o l o g y ， 2 0 1 7 ， 4 5 I i 2 1 - 1 2 8 ． 王智峰 ， 屈凡非 ， 田建