式中的 |.| 表示向量长度，α是两向量间的夹角（这在任意维数上都是成立的，不只是二维）。显而易见，当 cosα=1，即 α=0 时，表达式取最大值。这就意味着这两个向量是平行的，所以 e 的方向和梯度方向是相同的。

训练神经网络

现在要从理论转战实践了，了解如何训练神经网络。假设任务是将有 n 维特征向量的图像分成 c 类。从数学角度看，神经网络代表将 n 维特征空间映射到 c 维空间的函数 f：

神经网络本身是参数化的函数。方便起见，将参数标记为 m 维向量：

为了表现出对参数的依赖，习惯记为：