NLP 2.4: Kernel trick 和svm

1411-李同学

发表文章数:148

首页 » 算法 » 正文

1、Linear SVM的缺点

NLP  2.4: Kernel trick 和svm
无法将非线性的数据分开

解决:

  • 1、把数据映射到高维空间
  • 2、使用神经网络

2、数据映射到高维空间

NLP  2.4: Kernel trick 和svm
缺点:

  • 复杂度的增加

Kernel trick使用可以W维持时间复杂度

3、拉格朗日等号处理条件

NLP  2.4: Kernel trick 和svm

NLP  2.4: Kernel trick 和svm

Multiple equalities

NLP  2.4: Kernel trick 和svm

4、拉格朗日不等式条件处理

NLP  2.4: Kernel trick 和svm

5、KKT条件

NLP  2.4: Kernel trick 和svm

6、KKT Condition of SVM

NLP  2.4: Kernel trick 和svm

7、Primal-Dual problem

为什么要转换为对偶问题:

  • primal 问题可能会很难解决
  • dual问题上可能会发现一些有趣的insight

primal上如果是optimal的,dual问题是sub-optimal的解,会比primal的解稍微差一些。

NLP  2.4: Kernel trick 和svm

8、SVM 的 dual derivation

NLP  2.4: Kernel trick 和svm

9、Kernel Trick

将输入通过一个核函数映射到高维空间。
输入通过核函数后,在计算内积的时候不依赖于高维空间的数据,还是根据输入数据进行计算。
NLP  2.4: Kernel trick 和svm
设计一个核函数,使得数据映射到高维空间,但在做内积计算时依然保持原有的时间复杂度。
不仅仅对于SVM,使用k-means也可以使用

Kernel种类

  • linear kernel
  • Gaussian kernel:高斯核
  • Polynomial kernel: 多项式核

NLP  2.4: Kernel trick 和svm
NLP  2.4: Kernel trick 和svm

未经允许不得转载:作者:1411-李同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《NLP 2.4: Kernel trick 和svm》 发布于2021-02-15

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录