关灯

学习SVM(三)理解SVM中的对偶问题

[复制链接]
admin 发表于 2019-1-20 13:13:03 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
 

网上有很多关于SVM的优秀博客与其他学习资料,而个人感觉本系列博客与其他关于SVM的文章相比,多了一些细节的证明,比如线性分类器原理,支持向量原理等等。 
同样是SVM,在《支持向量机导论》中有170+页的内容,而在《机器学习》(周志华)一书中仅仅是一个章节的内容,中间略过了细节推导的过程,这些被略过的推导过程在本系列博客中都会加入,也是在自学时验证过程中的一些总结,如有问题请指正。

在上一篇的内容中(学习SVM(二) 如何理解支持向量机的最大分类间隔),我们最后我们推导出优化目标为:

1532930612277930954.jpg


其中约束条件为n个,这是一个关于w和b的最小值问题。

根据拉格朗日乘子法:就是求函数f(x1,x2,…)在g(x1,x2,…)=0的约束条件下的极值的方法。其主要思想是将约束条件函数与原函数联系到一起,使能配成与变量数量相等的等式方程,从而求出得到原函数极值的各个变量的解。即可以求得:

1532930626712368818.jpg

 
其中a就是拉格朗日乘子法进入的一个新的参数,也就是拉格朗日乘子。 
那么问题就变成了:

1532930639496228430.jpg

 

所谓的对偶问题就是:

1532930647931667453.jpg

 

做这种转换是为了后面的求解方便,因为最小值问题,求导就可以啦!! 
下面对w和b分别求偏导(这里是纯数学计算,直接给结果了): 
1532930655353719570.jpg

 

在这里求出了两个结果,带入到L(w,b,a)中:

1532930664176166861.jpg

 

所以问题被转化成为: 
1532930717912640471.jpg  


1532930729174468753.jpg

 
注意这里的约束条件有n+1个。

添加符号,再一次转化条件:

  1532930750260894551.jpg

 

1532930760305158540.jpg

回复

使用道具 举报

 
*滑块验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


1关注

0粉丝

1603帖子

排行榜

关注我们:微信订阅号

官方微信

APP下载

全国服务热线:

4000-018-018

公司地址:上海市嘉定区银翔路655号B区1068室

运营中心:成都市锦江区东华正街42号广电仕百达国际大厦25楼

邮编:610066 Email:3318850993#qq.com

Copyright   ©2015-2016  比特趋势Powered by©Discuz!技术支持:迪恩网络