矿业信息异构数据库集成模型的研究.pdf

第 6期 2 0 0 8年 1 2月 工矿 自 动化 I n dus t r y a nd M i ne Au t o mat i o n NO ． 6 De c ．2 0 0 8 文章 编号 1 6 7 1 2 5 1 X 2 0 0 8 0 6 0 0 6 6 0 4 矿业信息畀构数据库集成模型的研究* 赵文 涛 ， 魏 红格 河南理工大学计算机科学与技术学院， 河南 焦作4 5 4 0 0 0 摘要 文章结合 X ML和 we b S e r v i c e 技术的优势， 提 出了一种矿业信息异构数据库的集成模型 ， 详细阐 述 了该模 型 的技 术 实现 。实践证 明 ， 在 不改 变原 始数据 的存储 和 管理方 式下 ， 该模 型 能较 好 地 实现 异构数据 源统一 、 透 明的访 问 ， 保证数 据 的完整性 、 安全性 和一致 性 ， 并且具 有较 高的开发 效率 。 关键 词 煤矿 ；信 息 ； 异 构数据 库 ； XML； W e b S e r v i c e 中图分类 号 T D 6 7 2 ； T P 3 1 1 ． 1 3 文 献标识 码 B Re s e a r c h o f I n t e g r a t e d Mo d e l o f M i n i n g I n f o r ma t i o n He t e r o ge n e o us Da t a b a s e ZHAO W e n t a o。 W EI H o n g ge Co l l e g e o f Co mp u t e r S c i e n c e a n d Te c h n o l o g y o f He n a n Po l y t e c h n i c Un i v e r s i t y ，J i a o z u o 4 5 4 0 0 0 ，C h i n a Ab s t r a c t Comb i ni n g wi t h t he a d v a n t a g e s o f XM L a nd W e b Se r v i c e，t he p a pe r pr op os e d a n i n t e gr a t e d mod e l o f mi n i n g i nf o r ma t i on h e t e r o ge n e o u s da t a b a s e， a n d e x p oun d e d t e c h ni c a l i m p l e me nt a t i on o f t h e m o d e 1 ．The p r a c t i c e pr o ve d t ha t i n t he c a s e o f un c h a n gi n g s t o r a g e a n d ma na ge m e nt mo de o f o r i g i n a l d a t a， t he mo de l c o ul d r e a l i z e u n i f i e d a nd t r a n s p a r e nt v i s i t f or h e t e r o g e n e o us d a t a s o ur c e we l l a nd e ns u r e i nt e g r i t y，s e c u r i t y a nd c o ns i s t e n c y of t he d a t a，wh i c h h a s hi gh e f f i c i e nc y i n d e v e l o p m e nt ． Ke y wo r d s c o a l m i n e，i nf o r m a t i o n，he t e r o ge ne ou s d a t a b a s e，XM L，W e b Se r v i c e 0 引言 对 于 以煤 炭 为 主要 能源 的我 国 ， 矿 业 系统 的信 息化比较缓慢 ， 拉距时间较长 。受我 国煤炭企业管 理机制的影响， 各矿业企业在信息化的应用上各 自 独立 ， 研 制 、 开发 或者 购 买 了不 同的 矿业 管 理 系统 ， 形成了各企业 内部相对独立的信息系统 。这些基于 各种业 务流程 和异 构数 据源 的应用 系统虽然满 足 了 煤炭企 业某一 特定 时期 、 特定业 务 的需 求 ， 但 因数据 自身 的特点 ， 其子 系统很 难使用 别 的子 系统 的数据 ， 从而在煤炭企业内部产生了信息“ 孤岛” ， 阻碍了煤 炭企业信息化进程 。随着信息化技术的广泛应用和 矿业信息共享的迫切需要 ， 如何在各种异构数据中 进行抽取、 转换和集成 ， 是建立共享型数据平台极为 关键 的 问题 _ 7 。 收稿 日期 2 0 0 8 0 6 2 5 *基金项 目 河南省高校青年骨干教师基金 0 6 0 0 0 9 作者简介 赵文涛 1 9 6 3 一 ， 男 ， 河南 焦作人 ， 副教授 ， 硕 士研究 生导师 ， 主要研究 方 向为 数据库 、 计 算机 网络。Te l 1 3 9 3 8 1 3 7 3 6 0 ， E - ma i l z wt c s t ． h p u ． e d u ． c n 目前 ， 实 现异 构 数 据库 的 数据 集成 一 般有 3种 方法， 即联邦式数据库 、 数据仓库和基于中间件模式 方 法r 3 ] 。其 中， 采 用 中间件 模 式 集成 各 种 异构 数 据 源 ， 由于不需要改变原始数据的存储和管理方式， 可 集 中为异构数据源提供一个高层检索服务， 而使其 成 为实现 异构数 据集 成 中较 为理想 的解 决方案 [ 5 ] 。 因此 ， 根据行业领域特点 ，在不改变原始数据 的存储和管理方式下 ， 采用 中间件模式 ， 笔者提出了 一 种基 于 XML和 We b S e r v i c e的异 构 数据 库集 成 模型， 可以有效地实现矿业信息异构数据的共享。 1 矿 业信息 异构数 据库集 成模 型 1 ． 1 XML技 术 XML Ex t e n s i b l e Ma r k u p L a n g u a g e 是 W3 C 于 1 9 9 8年发布的一种标准 ， 它是 S G ML的一个简 化子集 ， 以一种 开 放 的 自我描 述 的方 式定 义 数据 结 构 ， 在描 述数据 内容 的 同时能够 突 出对 结构 的描述 ， 从而体现了数据之间的关系。X ML现已成为网络 系统中通用 的数据交换格 式[ 9 ] 。相对 于数据库技 术 ， XML技术在数据应用方面具有很多优点 2 0 0 8年第 6期 赵文涛等 矿业信息异构数据库集成模型的研 究 6 7 1 X ML文件 不受操作 系统、 软件 平 台的限 1 ． 3 制 ； ． 2 X ML容易描述数据的语义 ， 这种描述能为 计算 机理解 和 自动处理 ； 3 XML不仅可以描述结构化数据 ， 还可以有 效描述 半结 构化 、 非 结构 化数 据 。 总体上看 ， X ML在数据应用方面具有易表义、 跨平台等优势， 具有很强的连接能力 、 对数据的自描 述能力 ， 能很好地实现异构数据库之间的透 明互操 作 ， 是一 个不错 的交 互媒介 。 1 ． 2 W e b S e r v i c e技 术 we b S e r v i c e是建立可互操作的分布式应用程 序 的新平 台 ， 它 向外界 提供一 个能 够通 过 We b进行 调用的 A P I I 8 ] 。We b S e r v i c e 平台是一套标准， 它定 义了应用程序如何在 We b上实现互操作性 。 We b服务体系结构是基于 3种角色 服务提供 者、 服务注册中心和服务请求者 之间的交互。交互 涉及发布、 查找和绑定操作_ 6 等内容。图 1显示 了 这些操作 、 提供这些操作 的组件及它们之间的交互 关系 。 图 1 W e b服 务 架 构不 意 图 使用 We b S e r v i c e 技术实现异构数据库的集成 有 以下 优点 1 通用 性 更 强 。S O AP协 议 是 We b S e r v i c e 的基础 ， S O AP协议与其它协议相 比具有更多 的灵 活性 和通用性 。 2 结果信息处理能力更强。异构数据库的数 据处理需 要 在语 义 层 次上 进 行 。we b S e r v i c e的输 入输出均是标准 X ML格式的数据 ， 这为异构数 据 库查询结果的处理提供了方便。 3 强大 的二次 开发 能力 。开 发者 可 以方 便地 开发具 有 特色数 据库 的 we b S e r v i c e 接 口。而且 只 要对相应的 We b S e r v i c e 进行简单的引用就可以根 据 自己的需求 自行设计跨库查询系统。 4 完善的信息源标识功能。UDD I 提供标准 化的、 透明的、 专门描述 We b服务 的机制， 具有发布 各种 we b服务描述信息 的能力。利用 UD D I 为标 识检索服务提供了一种行之有效的方法 ， 检索系统 可以根据 UD D I 信息有效地选择数据源。 异 构数据 库 集成模 型结构 异构数据库集成模型采用 3层 B ／ S结构 数据 层、 数据集成中间层、 用户层 ， 如图 2所示 。 浏览器和 We b 应用 程序 田 白 E 用 户 请 求 l 返 回 结 果 分析分解请求 敞据转换I X S L l 1 『 I服 务 注 册 中 心 I 绑 定 l 语法分析 处理I 服 1 『 务 L M 竹 成到 裂借果肚扶块 查询 处理块 ， 0 l I I ， e b 服 务 接口 l lW e b 服 务 接 口 I I W e b 服 务 接口 图 2 异构数据库集成模 型结构 图 1 数 据层 数据 层是整 个模 型的基 础 ， 由各 个 异 构 的数据 源 组 成 ， 在该 模 型 中采 用 S QL S e r v e r 、 My S QL、 O r a c l e等， 它们在不同的操 作系统 中， 是 系统的数据提供者。 2 数据集成中间层 该层是模型的关键 ， 主要 由查 询处 理块 和数据集 成块 组成 。查询 处理块 采用 We b服务体系结构， 接收来 自用户层 的用户请求 ， 经分析分解请求之后， 在服务注册中心发现相应 的 服务 ， 再绑定到具体 的服务 提供者 进行数据查询。 查询结果返 回给数据集成块 ， 进行数据集成， 最终返 回给请求用户 。查询结果可能是从多个异构数据库 中提取的， 先经 X ML合成器对查询结果进行合成 ， 再 经 语 法 分 析 处 理 ， 纠 正 语 法 错 误 ， 对 应 XS L Ex t e n s i b l e S t y l e s h e e t L a n g u a g e 转 换 成 用 户 所 需 要的数据格式 。模型中每一个异构数据源都有 1个 we b服务 接 口， 使用 之前 在 服务 注册 中心 注册 了相 应 的数据 服 务 。如 果 有 新 的 异 构 数 据 源 加 入 系 统 中， 只需 注册服 务 即可 ， 有效 地实 现 了即插 即用 。 3 用户层 由浏览器 和 We b 应 用程 序组成 。 2 矿 业信 息集成 模型 的技术 实现 2 ． 1 We b服 务 注册 有 了 We b服务 ， 各个矿业企业不再是信息孤岛 式 的 We b 应 用 程 序 站点 ， 通 过 We b服务 可 以将 它 们连接起来 ， 实现矿业信息的共享。即使各个矿业 管理信息系统使用不同的操作系统、 不同的数据库， 只要通过 We b服务注册， 它们就可以共享信息。 6 8 工矿 自动化 2 0 0 8年 1 2月 该模 型采 用． NE T创 建 、 注册 、 使 用 We b服 务 ] 。以 s QL S e r v e r 数据库为例， 注册 We b服务 的代码如下 u s i ng S y s t e m． Da t a； u s ing S y s t e m． Da t a ． S q l Cl i e n t ； [ We b Me t h o d ] p u b l i c Da t a S e t ge t c o a l i n f o { S t r i n g s t r ” s e r v e r my S r v Na me ； Da t a b a s e SB J X； u i d s a； p wd 1 2 3 ”； S q l Co n n e c t i 0 n c o nn n e w S q l Co n n e c t i o n s t r ； Co n n ． o p e n ； Da t a Se t d s n e w Da t a S e t ； S q l C o mma n d c o mm n e w S q l C o mma n d ” S QL命令 ” ，c o n n ； S q l Da t a Ad a p t e r s d a n e w S q l Da t a Ad a p t e r c o mm； s da ． Fi l l d s ，” Ta b l e 1 ” ； r e t u r n d s； } O r a c l e 数据库和 My S QL数据库 的 We b服务 注册方法与上面的代码类似 ， 只是引入 的命名空间 和数 据 库 连 接 串 不 同。Or a c l e数 据 库 要 引 入 “ S y s t e m， D a t a ． Or a c l e C l i e n t ” ， 数 据 库 连 接 串 是 “ Or a c l e Con ne c t i o n c o nn n e w Or a e l e Co nn e c t i on ” Da t a So u r c e M y Or a e l e DB； U s e r I d u s e r na m e ； P a s s wo r d p a s s wd ；I n t e g r a t e d S e c u r i t y D O” ” 。 My S QL 数 据 库 要 引 入 “ My S q 1 ．D a t a ．My S q l C l i e n t ” ， 数据 库连接 串是“ My s q l C o n n e c t i o n C o n n n e w M y Sq l Con ne c t i on”S e r v e r Se r v e r Da t a b a s e Te s t ； Ui d Us e r Na me ； P wd a s d a s d ” ” 。 使用这些已经注册的 We b服务， 即绑定服务 ， 只需 在 项 目 中 添 加 We b引 用 ， 选 择 已经 注 册 的 we b服务 ， 添加 以下 的代码， 就可 以使用已经存在 的 We b服务 。 P r i v a t e v oid b o t t e nl C l i c k o b j e c t s e n d e r ，S y s t e m． E v e n t Ar g s e { W e b S e r v i c e ． Se r v i c e 1 WS n e w W e b S e r v i c e ． S e r v i c e l ； WS ． g e t c o a l i n f o 2 ． 2 XML合成 器 数据集 成块 接 收来 自各个 We b服务 的局部 XML文档， 将它们合成为一个全局 X ML文档， 最 后将 合 成 的 X ML 文档 经 语 法分 析 、 处理 ， 协 同 XS L， 依据客户端要求 的文件格式返 回_ 1 ] 。由于 合成的 X ML文档后续处理 的实现方法 比较简单 ， 在这里 ， 笔者重点介绍 XML合成器的实现。XML 合成器将来 自各个异构数据库的 X ML文档合成为 1 个 X ML文档， 实现 了异构数据库的数据集成嘲。 假 设有 2个 XML 文档 d o c l和 d o c 2 ， 将 d o c 2的根 元素的子结点列表合并为 d o c l的根元素的子集 ， 实 现代码如下 p u b l i c s t a t i c v o i d Ma i n s t r i n g [ ]a r g s { Xml Te x t Re a d e r x ml r e a d e r l ne w Xml Te x t Re a d e r ” C ＼ ＼ d o e 1 ． x ml ” ； Xml Te x t Re a de r x ml r e a d e r 2 n e w Xml Te x t Re a d e r ” C ＼ ＼ d o c 2 ． x ml ” ； ／ ／ 实例化 X ml T e x t Re a d e r ， 读取 XML文档 d o e 1和 d o c 2 Da t a S e t d s n e w Da t a S e t Da t a S e t d s 2 n e w D a t a S e t ； ／ ／ 产生 2个 Da t a s e t d s ． R e a d X ml d o c 1 ； ／ ／ 读取 X ML文档 d o c l d s 2 ． R e a d X ml d o c 2 ； ／ ／ 读取 X ML文档 d o c 2 d s ． Me r g e d s 2 ；／ ／ 把 d o c 2的根元素的子结点列表 合并为 d o c l 的根元素 的子集 d s ． Wr i t e Xml ” C ＼ ＼ c o a 1 ． x ml ” ；／ ／ 输 出已经合并的 XML文档 2 ． 3 XM L数 据 的 传 输 X ML数据在整个系统中的传输采用 S O AP协 议。S O AP 简单对象访问协议 是一个基于 X ML 的与平台无关的通信协议 ， 使应用程序可以用被称 为 S OA P消息的 X ML文档在 I n t e r n e t 上通信。它 被定义为轻量协议， 以便在松散的分布式环境 中对 等地交换结构化和类型化信息。S OAP协议规范 了 We b S e r v i c e的调 用机制 。同时， we b服务器将支 持数 据在数 据层 和 显示 层 的双 向刷 新 机制 ， 即可 接 收客户端的数据 ， 修改并存人后端数据库 ， 亦可将后 端数据库的数据变化及时传送给客户。 借助于 S OAP， 异构数据库集成 问题将从层次 上被简化 。 XML提供 了跨平台的数据编码和组织 方法，而 S OAP建立在 X ML之上， 定义了一种跨 系统平 台 的信 息 交换 的简 单 包装 方 法。绑 定 于 HTT P之上的 S O AP协议 ，可以跨语言、 跨操作系 统 、 跨 防火墙进 行远 程过 程调用 R P C ， 实现 了编程 语 言和 系统平 台 的无 关性 ， 大 大 简化 了异 构数 据库 之间 的交互 问题 。 3具体 应用 针对大型矿业集 团下属煤矿分散、 信息化程度 不 同、 各个矿内部以及矿与矿之 间管理信息系统异 构等问题， 该模型可以有效地屏蔽异构 ， 实现矿业信 息异构 数据 的共享 。 矿业信息异构数据库集成模型的具体实现框架 如 图 3所示 。 第 6 期 2 0 0 8年 1 2月 工矿 自 动化 I ndu s t r y a n d M i ne Au t oma t i o n NO ． 6 De c ． 2 00 8 文章 编号 1 6 7 1 2 5 1 X 2 0 0 8 0 6 0 0 6 9 0 3 基于组件j jc G I S的矿井通风安全管理 与决策支持软件的开发 刘惠德 ， 连 英 立 ， 艾 婷 1 ． 河北工程大学资源学院， 2 ． 河北工程大学经济管理学院， 河北 邯郸0 5 6 0 3 8 摘要 针对 目前国内矿井通风安全管理软件 的开发现状， 文章提 出了一种基 于组件式 GI S的矿 井通风 安全管理与决策 支持软件的开发方法， 介绍 了该软件的建设 目标和结构， 阐述 了该软件 实现的主要功能， 并 给 出了软件开发方式。实践证明， 基于组件式 GI S的矿 井通风安全管理与决策支持软件具有速度快、 质量 高、 功能 完善 等优 点 。 关 键词 矿 井 ； 通 风 ；安全 管理 ；决策 支持 ；组件 式 GI S 中图分 类号 T D 7 2 4 ；P 2 0 8 文献标 识码 B 收稿 日期 2 0 0 8 0 7 1 4 作者简介 刘惠德 1 9 5 6 一 ， 男 ， 博士 ， 教授 ， 2 0 0 1年毕业于 中国 矿业大学 ， 现为河北工程大学地理信息系统研究中心主任 ， 主要从事 地理信息系统 、 数字矿山、 采矿工程 、 安 全管理及 质量标准化 方面的 研究与教学工作 ， 已发表论文二十余篇 ， 完成十余项科研项 目。Te l 1 3 8 3 2 0 0 5 5 5 0， E ma i l LHD8 8 6 6 1 6 3 ． c o m 0 引言 煤矿通风安全管理工作在煤矿生产管理中占有 极其重要的地位， 通风安全管理 的好坏直接影响到 矿井安全生产和经济效益的好坏 。虽然我国煤炭产 量近年来大幅增长 ， 但是许 多煤矿 的通风信息管理 矿业信息查询客户端 中 一 ⋯ 层 匝 圃 i 数据集成中间层 图 3 矿业信息异构数据库集成模型 的具体实现框架 图 4 结语 基 于 XML技 术 和 We b S e r v i c e技 术 的异 构 数 据库 集成模 型 ， 利用 We b服务 器将数 据服 务封 装 发 布 出去 ， 通 过 AD 0 ． NE T 对 X ML数 据进 行组 织 和 解析 ， 并根据解析情况执行相应的业务处理 ， 在一定 程度上解决了矿业信息异构问题。但矿业异构数据 在集成过程中的用户请求分解 的机制问题 、 安全 问 题有待进一步的研究 。 参考文献 E l i wu Z e - b i n ，WE I J i e ，L I We i q i n g ，e t a 1 ． He t e r o g e n e o u s Da t a S o u r c e Un i f i e d S e a r c h Te c h n o l o g y Ba s e d o n We b S e r v i c e s[ J ] ． C o mp u t e r I n t e g r a t e d Ma n u f a c t u r i n g S y s t e ms ，2 0 0 7 ， 1 3 7 1 4 4 4 1 4 5 0 ． B RAZHNI K 0， J 0NE S J F ． An a t o my o f Da t a I n t e g r a t i o n [ J ． J o u r n a l o f B i o me d i c a l I n f o r ma t i c s ， 2 0 0 7， 4 0 3 2 5 2 ～ 2 6 9 ． ZHAO H u i mi n。 RAM S． Co mbi ni n g S c he ma a nd I ns t a nc e I nf o r mat i o n f o r I nt e g r a t i ng He t e r og e ne ou s D a t a S o u r c e s [ J ] ．D a t a ＆ K n o w l e d g e E n g i n e e r i n g ， 2 0 0 7 ， 6 1 2 2 8 1 ～ 3 0 3 ． ARDESTANI K 。H OFFM AN K ，XI E D． Fa s t Tr a c k AD O ． NE T C E d i t i o n[ M] ． 北京 清华大学 出版社 ， 2 003 ． 曾小宁 ， 黎明． 基于 X ML的数据交换 中间件 的研 究 与实现Ⅲ J ] ．计算机工程与设计 ， 2 0 0 7 6 ． 崔伟． 基 于 XML和 We b服务 数据集 成 的研 究E J ] ． 计算机与数字工程 ， 2 0 0 7 6 ． 刘开南 ， 董立红． 矿业 信息 异构 数据 的共享 E J ] ．西安 科技大学学报 ， 2 0 0 7 6 ． 张倩 ， 王晓东． 基 于 A D O ． N E T与 X ML的异构数 据 库数 据交互 E J ] ． 计算机技术与发展 ， 2 0 0 7 8 ． 孙友仓 ， 宋彩利 ， 李 润洲． 一种基于 We b S e r v i c e 的异构 数据集成 中间件 E J ] ．西安科技大学学报 ， 2 0 0 7 6 ． ] ] ] ] ] ] ] ]