关灯

学习SVM(四) 理解SVM中的支持向量(Support Vector)

[复制链接]
admin 发表于 2019-1-20 13:12:42 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
 

我们在开始接触SVM时肯定听到过类似这样的话,决定决策边界的数据叫做支持向量,它决定了margin到底是多少,而max margin更远的点,其实有没有无所谓。 
然后一般会配一张图说明一下哪些是支持向量(Support Vector),这个图在之前的学习SVM(二) 如何理解支持向量机的最大分类间隔里面就有,这里不在重复贴了。

但是问题的关键是,这些Support Vector是怎么被确定的呢? 
在学习SVM(三)理解SVM中的对偶问题计算得到新的优化目标:

  1532931036180890256.jpg


1532931046935147058.jpg

 

注意这里的约束条件有n+1个,之后只需要根据Data(x),Label(y)求解出满足条件的拉格朗日系数a,并将a带回求得w和b,于是就有了最后的决策边界。(w,b,x,y,a都是向量) 
1532931057298041848.jpg

 
注意:在上面b的公式中,i=1,2,…,n。但是j却没有给值,这是因为j是任意一个支持向量都可以。

在这里对w和b的公式的推导做一个简短说明,w是通过拉格朗日求偏导后推出的;在学习SVM(二) 如何理解支持向量机的最大分类间隔中我们知道最大间隔为: 
1532931068683286803.jpg


那么支持向量到决策边界的距离为: 
1532931079403944736.jpg , 


同时根据点到直线的距离公式有: 
1532931092138554448.jpg


超平面(w,b)能够将训练样本正确分类,即对于 1532931100349338273.jpg

因此去掉绝对值可以得到关于b的公式。

而非支持向量的数据就在求解参数a,w,b的过程中,前面的参数w求得的结果会为0,这样就满足了之前的说法,只有支持向量在影响着决策边界的确定,举个例子:

1532931119758689043.jpg

 

上图中有3个点,x1(3,3),x2(4,3),x3(1,1),对应的:y1=y2=1,y3=-1。 
很显然x1和x3是两个支持向量,在决策平面的两侧,我们带入到上面的公式求解一下: 
由于两个求和公式(n=3),所以括号里面的是项会有9个,可以理解为两个for循环嵌套啊(哈~哈~),但是显然这9项里面是有重复的,因为a1*a2 = a2*a1,所以最后会剩下6项: 
a1*a1,a2*a2,a3*a3,2*a1*a3,2*a1*a2,2*a2*a3,举个例子确定前面的系数: 
C*a1*a2 = [(x1)(x2)*y1*y2]a1*a2 
C=2*[(3,3)(4,3)](1)(1)=2(12+9)=42

所以最后的结果如下: 
1532931128844314657.jpg

 

由约束条件得到:a3=a1+a2,带入到min中可以求得一个关于a1 
和a2的函数:

1532931181808974015.jpg

 

要求它的最小值,求偏导啊~

1532931191563608363.jpg

 

最后求解得到: 
a1 = 1.5 
a2 = -1

而a2 = -1的点不满于a2>0的条件,所以最小值在边界上取得。边界情况要么是a1=0,要么是a2=0,于是: 
a1=0时,我们应该把a1的值往s对a2的偏导里面带入: 
a2=2/13 (满足条件) 
此时: 
1532931202051652330.jpg

 

a2=0时,我们应该把a2的值往s对a1的偏导里面带入: 
a1=1/4 (满足条件) 
此时: 
1532931210264770789.jpg

 
显然后面的结果更小,所以: 
a1 = 1/4 
a2 = 0 
a3 = 1/4

到这里就能验证上面的结论了,a1和a3是x1和x3的系数,x1和x3是支持向量,而x2不是,所以前面的系数是0。因为根据w求解公式,a2=0,所以x2对w权的最后取值没有影响,所以x2不是支持向量。

最后一步,带到上面的式子中求w,b: 
1532931221864564560.jpg

 
w1=w2=0.5 
对于支持向量x1,计算b的值: 
1532931231654955450.jpg
对于非支持向量x2,计算b的值: 
1532931263949776783.jpg
 

显然,由于b的公式由支持向量与决策平面的距离推导得到,所以x2的计算结果是错误的。 
于是得到最后的决策边界为: 
0.5x1+0.5x2+2=0

回复

使用道具 举报

 
*滑块验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


1关注

0粉丝

1603帖子

排行榜

关注我们:微信订阅号

官方微信

APP下载

全国服务热线:

4000-018-018

公司地址:上海市嘉定区银翔路655号B区1068室

运营中心:成都市锦江区东华正街42号广电仕百达国际大厦25楼

邮编:610066 Email:3318850993#qq.com

Copyright   ©2015-2016  比特趋势Powered by©Discuz!技术支持:迪恩网络