支持向量机(SVM)原理及应用概 述 下载本文

东北大学

研究生考试试卷

评分

考试科目:信号处理的统计分析方法 课程编号: 09601513 阅 卷 人: 刘 晓 志 考试日期: 2012年11月07日 姓 名: 赵 亚 楠 学 号: 1001236

注 意 事 项

1. 2. 3. 4.

考前研究生将上述项目填写清楚. 字迹要清楚,保持卷面清洁.

交卷时请将本试卷和题签一起上交.

课程考试后二周内授课教师完成评卷工作,公共课成绩单与试卷交研究生院培养办公室,专业课成绩单与试卷交各学院,各学院把成绩单交研究生院培养办公室.

东北大学研究生院培养办公室

支持向量机(SVM)原理及应用

目录

一、SVM的产生与发展 .......................................................................................... 3 二、支持向量机相关理论 ........................................................................................ 4

(一)统计学习理论基础 ..................................................................................... 4 (二)SVM原理 .................................................................................................... 4

1.最优分类面和广义最优分类面 ....................................................................... 5 2.SVM的非线性映射 .......................................................................................... 7 3.核函数 ............................................................................................................... 8 三、支持向量机的应用研究现状 ............................................................................ 9

(一)人脸检测、验证和识别 ............................................................................. 9 (二)说话人/语音识别 ................................................................................... 10 (三)文字/手写体识别 ................................................................................... 10 (四)图像处理 ................................................................................................... 11 (五)其他应用研究 ........................................................................................... 11

四、结论和讨论 ...................................................................................................... 12

支持向量机(SVM)原理及应用

一、SVM的产生与发展

自1995年Vapnik在统计学习理论的基础上提出SVM作为模式识别的新方法之后,SVM一直倍受关注。同年,Vapnik和Cortes提出软间隔(soft margin)SVM,通过引进松弛变量?i度量数据xi的误分类(分类出现错误时?i大于0),同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数),SVM的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程;1996年,Vapnik等人又提出支持向量回归 (Support Vector Regression,SVR)的方法用于解决拟合问题。SVR同SVM的出发点都是寻找最优超平面,但SVR的目的不是找到两种数据的分割平面,而是找到能准确预测数据分布的平面,两者最终都转换为最优化问题的求解;1998年,Weston等人根据SVM原理提出了用于解决多类分类的SVM方法(Multi-Class Support Vector Machines,Multi-SVM),通过将多类分类转化成二类分类,将SVM应用于多分类问题的判断:此外,在SVM算法的基本框架下,研究者针对不同的方面提出了很多相关的改进算法。例如,Suykens提出的最小二乘支持向量机 (Least Square Support Vector Machine,LS—SVM)算法,Joachims等人提出的SVM-1ight,张学工提出的中心支持向量机 (Central Support Vector Machine,CSVM),Scholkoph和Smola基于二次规划提出的v-SVM等。此后,台湾大学林智仁(Lin Chih-Jen)教授等对SVM的典型应用进行总结,并设计开发出较为完善的SVM工具包,也就是LIBSVM(A Library for Support Vector Machines)。上述改进模型中,v-SVM是一种软间隔分类器模型,其原理是通过引进参数v,来调整支持向量数占输入数据比例的下限,以及参数代替通常依靠经验选取的软间隔分类惩罚参数,改善分类效果;LS-SVM?来度量超平面偏差,

则是用等式约束代替传统SVM中的不等式约束,将求解QP问题变成解一组等式方程来提高算法效率;LIBSVM是一个通用的SVM软件包,可以解决分类、回归以及分布估计等问题,它提供常用的几种核函数可由用户选择,并且具有不平衡样本加权和多类分类等功能,此外,交叉验证(cross validation)方法也是LIBSVM对核函数参数选取问题所做的一个突出贡献;SVM-1ight的特点则是通过引进缩水(shrinking)逐步简化QP问题,以及缓存(caching)技术降低迭代运算的计算代价来解决大规模样本条件下SVM学习的复杂性问题。