您当前的位置：首页 > 当代文学 > 白话机器学习的数学

3.2　内积

　找到一条线，这也就意味着我们要像学习回归时那样，求出一次函数的斜率和截距吧？

　不是的，这个又不一样了。

　欸，不是吗？这条线看起来也像是有截距和斜率的一次函数啊……

　但这次的目的是找出向量哦。

　啊，向量又出现了……

　关于向量和内积（后面会讲到）的更多内容，请参考附录 A.6。

　分类用图形来解释更容易理解，所以把它想象为有大小和方向的、带箭头的向量比较好。

　我没听懂什么意思，再详细讲一下吧。

　刚才你画的那条线，是使权重向量成为法线向量的直线。设权重向量为 $\boldsymbol{w}$ ，那么那条直线的表达式就是这样的。

$\boldsymbol{w}\cdot\boldsymbol{x}=0\quad\quad\quad\quad\quad\quad\quad(3.2.1)$

　啊，越来越难了……权重向量到底是什么？这个表达式的意思我也完全不理解……

　权重向量就是我们想要知道的未知参数， $\boldsymbol{w}$ 是权重一词的英文——weight 的首字母。上次学习回归时，我们为了求未知参数 $\boldsymbol{\theta}$ 做了很多事情，而 $\boldsymbol{w}$ 和 $\boldsymbol{\theta}$ 是一样的。

　所以它们都是参数，只是叫法不同。

　嗯。表达式 3.2.1 是两个向量的内积，你知道内积吗？

　我倒是记得内积的计算方法……

　实向量空间的内积是各相应元素乘积的和，所以刚才的表达式也可以写成这样。

$\boldsymbol{w}\cdot\boldsymbol{x}=\sum^n_{i=1}w_ix_i=0\quad\quad\quad\quad\quad\quad\quad(3.2.2)$

　对对，内积是这样算的。现在要考虑的是有宽和高的二维情况，所以 n=2 就可以了吧？

　是的，下面具体地展开 $\Sigma$ 符号。

$\boldsymbol{w}\cdot\boldsymbol{x}=w_1x_1+w_2x_2=0\quad\quad\quad\quad\quad\quad\quad(3.2.3)$

　嗯，这里我懂了。还有，我记得法线是垂直的呀？

　关于法线的更多内容，请参考附录 A.6。

　是的。法线是与某条直线相垂直的向量。当你哪里不明白时，代入具体的值来看一下就容易理解了。比如我们设权重向量为 $\boldsymbol{w}=(1,1)$ ，那么刚才的内积表达式会变成什么样呢？

　只要代入就好了对吧？是这样吗？

$\begin{aligned}\boldsymbol{w}\cdot\boldsymbol{x}&=w_1x_1+w_2x_2\\&=1\cdot x_1+1\cdot x_2\\&=x_1+x_2=0\quad\quad\quad\quad\quad\quad\quad(3.2.4)\end{aligned}$

　是的。移项变形之后，表达式变成 x_2=-x_1 了。这就是斜率为 -1 的直线（图 3-6）。

图 3-6

　啊，原来内积表达式表示的是这样的直线呀。

　是的哦。在这张图上再画上刚才确定的权重向量 $\boldsymbol{w}=(1,1)$ 就更容易理解了（图 3-7）。

图 3-7

　权重向量 $\boldsymbol{w}$ 和这条直线是垂直的！

　这就是“使权重向量成为法线向量的直线”在图形上的解释。大概懂了吧？

　嗯，有意思。说到图形上的解释，我想起了用向量之间的夹角 $\theta$ 和 cos 计算内积的表达式……好像是这样的。

$\boldsymbol{w}\cdot\boldsymbol{x}=|\boldsymbol{w}|\cdot|\boldsymbol{x}|\cdot\cos\theta\quad\quad\quad\quad\quad\quad\quad(3.2.5)$

　这是内积的另一个表达式。用这个表达式也没有问题。表达式中的 $|\boldsymbol{w}|$ 和 $|\boldsymbol{x}|$ 是向量的长，因此必定是正数。所以要想使内积为 0，只能使 $\cos\theta=0$ 。要想使 $\cos\theta=0$ ，也就意味着 $\theta=90\degree$ 或 $\theta=270\degree$ 。这两种情况也是直角。

　原来如此。像这样与 $\boldsymbol{w}$ 成直角的向量有很多，它们连成了一条直线。

　从不同的角度去看会非常有意思，而且这么做也会加深我们的理解。

　最终找到与我画的直线成直角的权重向量就行了吗（图 3-8）？

图 3-8

　是的。当然，一开始并不存在你画的那种直线，而是要通过训练找到权重向量，然后才能得到与这个向量垂直的直线，最后根据这条直线就可以对数据进行分类了。

3.2 内积

3.2　内积