支持向量机教程

---

1 数学基础

    1.1 什么是支持向量？

---

    1.2 什么是超平面？

---

    1.3 超平面数学方程

---

    1.4 点到平面的距离

---

    1.5 函数间隔和几何间隔

---

2 SVM内容

    2.1 SVM的数学表达式

---

    2.2 对偶问题

---

    2.3 拉格朗日函数

---

    2.4 拉格朗日乘子法

---

3 扩展服务

    3.1 扩展服务

---

---

注意：一旦提到向量，通常指的是列向量。

1、列向量的表示法

列向量的表示法有三种：

（1）小写黑斜体字母表示法：$\bold{a}$。如果表示行向量，则需要加$\bold{a}^T$。

（2）箭头表示法：$\vec{a}$。

（3）集合-元素表示法，如下所示：

$$ X = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix} $$

而为简化书写、方便排版起见，有时会以加上转置符号T的行向量表示列向量，如下所示：

$$ X = \begin{bmatrix} x_1 \ x_2 \ ... \ x_n \end{bmatrix} ^T $$

提示：看到转置T要区分以下，根据情况而定，看看到底是表示行向量还是列向量。

2、支持向量

在支持向量机中，距离超平面最近的且满足一定条件的几个训练样本点被称为支持向量。

下图中有红色和蓝色两类样本点，其中黑色的实线就是最大间隔超平面。在这个例子中，A，B，C 三个点到该超平面的距离相等。

注意：这些点非常特别，这是因为超平面的参数完全由这三个点确定。该超平面和任何其他的点无关。如果改变其他点的位置，只要其他点不落入虚线上或者虚线内，那么超平面的参数都不会改变。A，B，C 这三个点被称为支持向量（support vectors）。