17_支持向量机优化_课堂笔记.md

支持向量机优化

拉格朗日对偶问题

KTT条件

假设$f$以及 $g_i$是凸函数，并且$h_i$为仿射函数，且$g_i$严格满足可行域，那必然存在$(w^,\alpha^,\beta^)$满足：
$w^$是原问题的解
$\alpha^,\beta^$是对偶问题的解
两个问题的解数值相等

KKT 条件陈述如下：

$\frac{\partial L(w^,\alpha^,\beta^*)}{\partial w_i} = 0,i=1,...,n$

$\frac{\partial L(w^,\alpha^,\beta^)}{\partial \beta_i} = 0,i=1,...,l$
$\alpha_i^g_i(w^)=0,i=1,...,k$
$g_i(w^)\leq 0,i=1,...,k$
$\alpha_i^\geq 0,i=1,...,k$
如果存在 ($x^$，$\alpha^$ , $\beta^$ )满足KKT条件,那么这组参数同时也是原问题以及对偶问题的解。

支持向量机优化求解

支持向量机的目标函数：寻找最优间隔分类器
不可分情况：增加松弛变量