机器学习——linear regression与linear classification

上一篇博客介绍了线性回归模型，但是不知道大家是否有这样的感觉：它与之前的PLA算法似乎有很多类似之处。 这两个算法都在使用线性的方法，也就是它们都是通过$y_n = W^TX_n$来计算出$y_n$，只不过PLA算法通过$y_n$来判断第n个样本的分类，而线性回归直接使用$y_n$来作为它的预测值。

线性回归中，$y$的值的范围是整个实数，从另一方面想，线性classification的$y$取值只有+1，-1两个取值，这两个值当然也是实数，我们是否能将线性回归算法用作于线性分类中呢？

要思考这个问题，首先要决定如何将线性回归用于线性分类：对样本集$\{X_n,Y_n\}$利用线性回归来进行学习，得到$W$，然后通过$sign(y'_n)$（其中$y'_n = W^TX_n$）来对该样本进行分类。与PLA的区别是PLA一直在尝试各种不同的$W$，而线性回归直接得到一个自己认为最好的$W$。但是实际上它们的Hypothesis都是一样的。

这个算法是否可行，需要来检查它的泛化能力，也就是它的$E_ {out}$是否像PLA算法一样有个上界。首先，我们观察两个算法对于错误的衡量有什么区别（注：以下错误都是单个样本的错误）：

category	$E_ {in}$
linear classification(PLA)	$y \neq y'$
linear regression	$(y - y')^2$
linear regression to classification	$y \neq sign(y')$

在上面的表格中，我加了一行，也就是利用线性回归算法来进行线性分类时候的$E_ {in}$，这意味着它们的$y'$是一样的(实际上$y'$代表的应该是最终的预测值，这里正确的写法应该是$h(X)$,此处只为了方便区分PLA)。

如果画出y = -1 与 y = +1 时候的曲线图，我们可以清晰地观察到，线性回归得到的错误永远是大于利用线性回归进行分类的错误的：

y = +1时：

y = -1时：

而通过之前vc bound那一节我们可以知道：

$$E_ {out} \leq E_ {in}(classification)+\sqrt {...}$$

也就可以得到：

$$E_ {out} \leq E_ {in}(regression) +\sqrt {...}$$

这意味着，只要linear regression的$E_ {in}$做的足够好，那么使用线性回归来做线性分类，往往也能取到比较好的效果。

实际中，我们也可以使用线性回归与PLA算法结合，先通过线性回归得到W，然后因为给了PLA或者POCKET算法一个好的初始点，它能更快得到最后好的结果。