支持向量机在冲击地压预测模型中的应用研究.pdf

分类号分类号O2O221.221.2密密级级 公公 开开 U D CU D C 单位代码单位代码 1042410424 学学 位位 论论 文文 支持向量机在冲击地压预测模型中的支持向量机在冲击地压预测模型中的支持向量机在冲击地压预测模型中的 支持向量机在冲击地压预测模型中的 应用研究应用研究应用研究 应用研究 朱耿峰朱耿峰 申请学位级别申请学位级别硕士学位硕士学位专业专业名名称称计算数学计算数学 指导教师姓名指导教师姓名贺贺 国国 平平职职称称教教授授 山山 东东 科科 技技 大大 学学 二零一零年五月二零一零年五月 论文题目论文题目论文题目 论文题目 支持向量机在冲击地压预测模型中的应用研究支持向量机在冲击地压预测模型中的应用研究支持向量机在冲击地压预测模型中的应用研究 支持向量机在冲击地压预测模型中的应用研究 作者姓名作者姓名作者姓名 作者姓名 朱朱 耿耿 峰峰入学时间入学时间入学时间 入学时间 200720072007 2007 年年9 9 9 9 月月 专业名称专业名称专业名称 专业名称 计算数学计算数学研究方向研究方向研究方向 研究方向 现现 代代 计计 算算 理理 论论 指导教师指导教师指导教师 指导教师 贺贺 国国 平平职职职 职 称称称 称 教授教授 论文提交日期论文提交日期论文提交日期 论文提交日期 201020102010 2010 年年 5 5 5 5 月月 论文答辩日期论文答辩日期论文答辩日期 论文答辩日期 201020102010 2010 年年 6 6 6 6 月月 141414 14 日日 授予学位日期授予学位日期授予学位日期 授予学位日期 SUPPORTSUPPORTSUPPORT SUPPORT VECTORVECTORVECTOR VECTOR MACHINEMACHINEMACHINE MACHINE ANDANDAND AND ITSITSITS ITS APPLICATIONAPPLICATIONAPPLICATION APPLICATION INININ IN BURSTBURSTBURST BURST PREDICTIONPREDICTIONPREDICTION PREDICTION MODELMODELMODEL MODEL A A A A DissertationDissertationDissertation Dissertation tedtedted ted ininin in fulfillmentfulfillmentfulfillment fulfillment ofofof of thethethe the requirementsrequirementsrequirements requirements ofofof of thethethe the degreedegreedegree degree ofofof of MASTERMASTERMASTER MASTER OFOFOF OF SCIENCESCIENCESCIENCE SCIENCE fromfromfrom from ShandongShandongShandong Shandong UniversityUniversityUniversity University ofofof of ScienceScienceScience Science andandand and TechnologyTechnologyTechnology Technology b b b b y y y y ZhuZhuZhu Zhu GengfengGengfengGengfeng Gengfeng SupervisorSupervisorSupervisor Supervisor ProfessorProfessorProfessor Professor HeHeHe He GuopingGuopingGuoping Guoping CollegeCollegeCollege College ofofof of InationInationInation Ination ScienceScienceScience Science andandand and TechnologyTechnologyTechnology Technology MayMayMay May 202020 20 101010 10 声声明明 本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和世所公认的本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和世所公认的文文 献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交于其它任何学术献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交于其它任何学术机机 关作鉴定。关作鉴定。 硕士生签名硕士生签名 日日期期 AFFIRMATIONAFFIRMATIONAFFIRMATION AFFIRMATION I I I I declaredeclaredeclare declare thatthatthat that thisthisthis this dissertation,dissertation,dissertation, dissertation, tedtedted ted ininin in fulfillmentfulfillmentfulfillment fulfillment ofofof of thethethe the requirementsrequirementsrequirements requirements forforfor for thethethe the awardawardaward award ofofof of MasterMasterMaster Master ofofof of ScienceScienceScience Science ininin in ShandongShandongShandong Shandong UniversityUniversityUniversity University ofofof of ScienceScienceScience Science andandand and Technology,Technology,Technology, Technology, is is is is whollywhollywholly wholly mymymy my ownownown own workworkwork work unlessunlessunless unless referencedreferencedreferenced referenced ofofof of acknowledge.acknowledge.acknowledge. acknowledge. TheTheThe The documentdocumentdocument document hashashas has notnotnot not beenbeenbeen been tedtedted ted forforfor for qualificationqualificationqualification qualification atatat at anyanyany any otherotherother other academicacademicacademic academic institute.institute.institute. institute. SignatureSignatureSignature Signature DateDateDate Date 山东科技大学硕士学位论文摘要 摘要 支持向量机（SVM）主要用于解决有限样本学习问题，而且对数据的维数和多变性 不敏感，具有较好的分类精度和泛化能力。SVM 方法已经被成功用于孤立的手写体识别、 文本分类、人脸识别等方面，并显示了巨大的优越性。支持向量机的主要应用是两类问 题的分类以及回归，而现实中的许多问题都是多分类问题，如何将 SVM 扩展，构造性能 良好的多值分类方法，一直是 SVM 研究的热点。 冲击地压是一种复杂的非线性动力学现象，是煤矿开采等人工活动诱发的一种地质 灾害。现在对于冲击地压的研究有许多的方法，如机制分析、现场试验、声发射、能量 理论、强度理论、突变理论、分形理论等，但是由于冲击地压现象的复杂性，对它发生 机制的认识还很难深入，因此采用传统的数学、力学很难建立相应的预测模型。特别是 现实中的冲击地压的数据还不是很多，那么如何在小样本的情况下提取数据特征，以实 现预测模型有较好的推广能力，是一个重要的研究课题。本文采用统计学习理论中最成 熟的支持向量机的方法来解决这类问题。 随着计算机技术和测试手段的提高，基于现场数据进行冲击地压研究有很好的应用 前景，因此预测方法就显得尤为重要。遗传算法和微粒子群方法与支持向量机相结合， 既能够充分发挥支持向量机优秀的推广能力，又能够发挥遗传算法和微粒子群算法全局 优化性能。该方法既适用于处理小样本，非线性等复杂问题，又避免了支持向量机参数 确定困难的问题。 冲击地压危险程度分为 3 级严重冲击危险区，中等冲击危险区，无冲击危险区。 所以研究多分类支持向量机对于预测冲击地压发生等级有着重要的意义。球结构多分类 支持向量机对于解决多分类问题有着独特的优势，在此本文提出了一个在不均衡情况下 的球结构支持向量机模型，实验表明该方法对于冲击地压有更好的预测效果。 关键词关键词 冲击地压遗传算法 微粒子群算法 球结构多分类支持向量机 山东科技大学硕士学位论文摘要 ABSTRACTABSTRACT SupportVectorMachine SVM is used to solve the limited sample learning problems, is not sensitive to the dimensions of the data and variability, and has better classification accuracy and generalization ability. SVM has been successfully used for isolation of handwriting recognition, text classification, face recognition and so on, and has shown great advantages. SVM is the essence of the problem with two types of classification and regression problem ,but many of the issues are multi-classification problems, how to extend SVM to multi-class classification problem has been a hot research. Burst is a complex nonlinear dynamic phenomena, is a kind of induced geological disasters by human activities such as coal mining. Now there are many s about the research s of burst, such as mechanism analysis, field test, acoustic emission, energy theory, the strength theory, catastrophe theory, fractal theory. Due to the complexity of the phenomenon of rock burst, it is difficult to understand the mechanism in depth, therefore, it is difficult to establish prediction models with the traditional mathematics, mechanics. The current data of burst is not much, then how to extract features of audit data in the case of small samples is an important problem in order to to achieve better generalization ability . This article introduces the field of machine learning to learn specialized in small sample statistical theory, using the most sophisticated statistical learning theory support vector machine to solve such problems. With the computer technology and test s improved, prospection based on field burst dataisan important prediction especially. Genetic Algorithm and Particle Swarm combined to support vector machine not only givefully play to both the support vector machine good generalization ability, but also can play a global optimization algorithm of genetic algorithm and microparticles. The isnot only applicable to deal with small samples, nonlinear and other complex problems, but also applicable to avoid the difficulty of determining support vector machine parameters. Burstisdivided into three risk levels a serious impact on risk areas, medium-impact risk areas, no impact danger zone. Sphere multi-class support vector machine has a unique advantage to solve the problem of multiple classifiers and the article proposed a non- 山东科技大学硕士学位论文摘要 equilibrium situations in seeking support vector machine model . Numerical experiments show that this has better prediction efficiency. KeyKeyKey Key WordsWordsWords Words burst, genetic algorithm ,particle swarm optimization, sphere multi-class support vector machines 山东科技大学硕士学位论文目录 目目 录录 1绪论..........................................................1 1.1 前言............................................................... 1 1.2 支持向量机的研究背景................................................1 1.3 支持向量机的模型及其算法............................................3 1.4 冲击地压预测模型....................................................8 1.5 论文的主要安排.................................................... 12 2基于遗传算法的支持向量回归机模型.............................14 2.1 引言.............................................................. 14 2.2 最优超平面.........................................................14 2.3 用遗传算法计算最优超平面...........................................16 2.4 GA-SVR 算法........................................................18 2.5 数值实验.......................................................... 21 3基于微粒子群的支持向量回归机模型.............................23 3.1 引言.............................................................. 23 3.2 带收缩因子的 PSO-SVR 算法...........................................23 3.3 数值实验.......................................................... 26 4基于多分类支持向量机冲击地压预测模型.........................28 4.1 引言...............................................................28 4.2 冲击地压...........................................................28 4.3 多分类支持向量机的几种类型.........................................29 4.4 球结构的支持向量机及其改进模型.................................... 32 4.5 数值实验.......................................................... 34 5总结与展望...................................................35 参考文献.......................................................37 致 谢..........................................................42 攻读硕士期间主要成果...........................................43 山东科技大学硕士学位论文目录 ContentsContentsContents Contents 1 1 1 1 ExordiumExordiumExordium Exordium 1 1 1 1 1.1Preface1 1.2Background of SVM Research1 1.3Model and itsAlgorithm of SupportVector Machine3 1.4TheProblem of Burst Prediction8 1.5Main Work of the Thesis12 2 2 2 2 SupportSupportSupport Support VectorVectorVector Vector RegressionRegressionRegression Regression MachineMachineMachine Machine ModelModelModel Model basedbasedbased based ononon on GeneticGeneticGenetic Genetic AlgorithmsAlgorithmsAlgorithms Algorithms 141414 14 3.1Introduction 14 3.2Optimal Hyperplane14 3.3Hyperplane Calculation of Genetic Algorithm16 3.4GA-SVR Algorithm18 3.5Numerical Experiment 21 3 3 3 3 SupportSupportSupport Support VectorVectorVector Vector RegressionRegressionRegression Regression MachineMachineMachine Machine basedbasedbased based ononon on ParticleParticleParticle Particle S S S S warmwarmwarm warm AlgorithmsAlgorithmsAlgorithms Algorithms 232323 23 4.1Introduction23 4.2PSO-SVR With a Shrinkage Factor 23 4.3Numerical Experiment 26 4 4 4 4 BurstBurstBurst Burst PredictionPredictionPrediction Prediction ModelModelModel Model basedbasedbased based ononon on Multi-classMulti-classMulti-class Multi-class SupportSupportSupport Support VectorVectorVector Vector MachineMachineMachine Machine 282828 28 5.1Introduction 28 5.2Burst 28 5.3Types of Multi-class Support Vector Machine29 5.4Sphere Support Vector Machines and its Improvement Model32 5.5Numerical Experiment 34 5 5 5 5 ConclusionsConclusionsConclusions Conclusions andandand and ExpectationsExpectationsExpectations Expectations 353535 35 ReferenceReferenceReference Reference DocumentsDocumentsDocuments Documents 373737 37 ThanksThanksThanks Thanks 424242 42 MainMainMain Main WorkWorkWork Work AchievementsAchievementsAchievements Achievements ofofof of thethethe the AuthorAuthorAuthor Author duringduringduring during WorkingWorkingWorking Working ononon on MasterMasterMaster Master PaperPaperPaper Paper 434343 43 山东科技大学硕士学位论文绪论 1 1 1 1 1 绪论绪论绪论 绪论 1.11.11.1 1.1 前言前言前言 前言 支持向量机SupportVectorMachine, SVM是一种专门研究有限样本预测的学习方 法[1]。对于小样本问题，SVM 成功的克服了其它算法在学习过程中的过学习和可能会陷 入局部极小的缺点，很好地解决了维数灾难和过拟合等传统算法所不可规避的问题。 支持向量机产生于 20 世纪 90 年代中期，自出现以来已经广泛应用于工业的各个领 域，例如数字识别、图形处理、污染物扩散分析及函数拟合等，被认为是继神经网络 之后的又一新的机器学习技术，并具有广泛的应用前景。 1.21.21.2 1.2 支持向量机的研究背景支持向量机的研究背景支持向量机的研究背景 支持向量机的研究背景 1.2.11.2.11.2.1 1.2.1 支持向量机的优点支持向量机的优点支持向量机的优点 支持向量机的优点 支持向量机的优点如下[1] （1）具有坚实的理论基础。Vapnik 在 20 世纪 70 年代针对传统统计学存在的问题 提出了统计学习理论，在此理论的基础上发展了一种新的机器学习技术支持向量机， 统计学习理论是针对小样本下的统计理论，因此支持向量机方法有着坚实的理论基础， 并能适应小样本的需要。 （2）易于处理高维、非线性问题。支持向量机中引入核函数的思想，通过核函数将 问题变换到另一个空间进行处理，巧妙地避免了原空间中的高维数和非线性问题，因此 支持向量机方法易于处理高维数、非线性的复杂问题。 （3）具有全局最优解。支持向量机方法最终可将问题转化为一个优化问题，通过解 相应的二次优化问题，获得支持向量，从而实现模式识别或函数拟合的支持向量机表达， 因此支持向量机方法具有全局最优特点。 1.2.21.2.21.2.2 1.2.2 支持向量机算法研究支持向量机算法研究支持向量机算法研究 支持向量机算法研究 Vapnik 等人于 1992 年提出了求解 SVM 的分块算法（Chunking Algorithm）[23],它可 以看成是一种不完全分解算法，算法将原来大型的 QP 问题分解成一系列优化的小型 QP 子问题，从而得到 SVM 的 QP 问题的全局最优解。该方法也存在一定的缺陷，当支持向量 数目非常大时，子问题的规模会逐渐增大，所谓“小规模”问题的求解仍将难以实现。 山东科技大学硕士学位论文绪论 2 1997 年 Osuna 等人提出了新的求解 SVM 的策略分解算法（Decomposition ）[36]。分解算法避免了分块算法中问题规模增大的缺陷，并且首次从理论上证明 了算法的收敛性。当然该算法实现的关键是在每次迭代求解时如何有效的选择工作集， 这也是现在关于该方法研究的焦点。 在工作集的选择上，Osuna 等人给出的策略并不是最优的，但是他的这一工作却是 开创性的。后来提出的 SMO 算法和算法其实都可以看成 Osuna 算法的特例或推 light SVM 广。 1998 年 Platt 等人提出了序列最小优化算法Sequential Minimal Optimization,简称 SMO[12]，该算法将工作集规模限定在 2 个变量的优化求解上，避免了数值求解，而直接 采用解析法进行计算。并且 Keerthi 和 Gilbert 于 2002 年证明了改进的 SMO 算法[14]的收 敛性。最近也有不少这方面的文章，主要集中在两个变量的启发式选择策略和核函数的 缓存技巧上。同年，Joachims 提出了算法 [27]，并加以实现，是目前应用中较为 light SVM 流行的一种方法。该算法主要在工作集的选择和实现上做出改进。学者们将上述算法统 称为分解算法。 1999 年 O.L.Mangasarian 等人提出了 Successive overrelaxationSOR [30]算法，主要是 针对标准的 SVM 进行了改造，在维空间中考虑最大化分类间隔（同时考虑和），1nb 从而得到的对偶问题将是一个只含超盒约束的 QP 问题。 这样再通过有效的矩阵分解策略 就可以直接利用求解对称性互补问题的 SOR 方法来进行有效求解了。该算法实质上就是 每次迭代优化一个乘子变量，不需要将所有样本载入内存，从而提高了训练速度。 在 2000 年的 O.L.Mangasarian 等人还将光滑函数方法引入到改造后可以把原来的有 约束问题转化成无约束问题，再利用经典的牛顿迭代方法加以解决。 同年 O.L.Mangasarian 等人又提出了基于有效集方法 （Active Set s）的ASVM[34] 算法。算法在经过特定的模型改造后得到对偶问题为没有上界的简单约束（）的0 QP 问题。再利用有效集方法，将优化变量分成集变量和非集变量，在迭代过程中每次只 要求解一个关于集变量的线性方程组就可以了。这样就使得问题规模大大下降，并可以 利用矩阵计算中的 Sherman-Morrison-Woodbury简称 SMW恒等式[33]解决方程组中矩阵 求逆问题，可直接求解出问题的解。 2001 年 O.L.Mangasarian 等人又提出了具有线性收敛性的 LagrangeSVM[36]算法。在 求解对偶 QP 问题时，直接引用隐 Lagrangian 公式得到 LSVM 迭代式，算法实现非常方便 。 山东科技大学硕士学位论文绪论 3 虽然已经提出很多有效算法，但是建立更好的求解支持向量机的优化算法，仍是支 持向量机理论研究的一个很有意义且急需解决的问题。 1.31.31.3 1.3 支持向量机模型及其算法支持向量机模型及其算法支持向量机模型及其算法 支持向量机模型及其算法 1.3.11.3.11.3.1 1.3.1 线性分类线性分类线性分类 线性分类 考虑训练样本有类别标记的有监督分类问题。假定大小为的训练样本集l 分为两类，若属于第 1 类，则令，将该样本标记为正 ；  ,,1,2,, ii yilLx x x x m i Rx x x x 1 i y  若属于第 2 类，则令，标记为负。分类的目标是通过已知的训练样本构造一个决1 i y  策函数，将测试数据尽可能正确地分类。 以下主要针对训练样本集线性可分和线性不可分两种情况分别讨论，并以 2 维图形 为例直观地描述了支持向量机解决分类问题的思想方法。 图 1.1线性可分支持向量机 Fig. 2.1Linear separable SVM 图 1.2线性不可分支持向量机 Fig. 1.2Linear nonseparable SVM 从图 1.1 可以看出，当两类样本的分布间隔比较大时，很容易找到一条直线将两类 样本分离，此时两类样本线性可分。图 1.1 反映的是比较理想的情况，更多情况下为线 山东科技大学硕士学位论文绪论 4 性不可分的情况。图 1.2 为线性不可分情况下相对简单的情形。虽然不是线性可分，但 是此时可以通过在模型的目标函数中对错分样本进行惩罚从而达到近似线性可分的目 的。 此时标准的支持向量机模型为 1.1  , , 1 1 min 2 . .1,1,2,, 0,1,2,, l T i b i T iii i w wC stywbil il          L L w w w w ξ ξ ξ ξ x x x x 其矩阵形式如下 1.2  , , min . . 1 2 TT b C stb    w w w w ξ ξ ξ ξ w wew wew we w we ξ ξ ξ ξ D AweD AweD Awe D Awe ξ ξ ξ ξ e e e e ξ ξ ξ ξ 0 0 0 0 所构造的决策函数为 1.3   sgn T fbxw xxw xxw x xw x 1.1-1.2中代表与的内积。符号‘ ’代表对向量或矩阵的转置。 T i w xw xw x w x w w w w i x x x x T 为第 个样本点的误差量。是惩罚因子，主要控制对错分样本的