式中

这看似简单，但难以计算。在真实世界中有数百万个数据点 N，更别说参数 m 的数量了。所以，一共有数百万项，因此要计算数百万个导数来求最小值。那么在实践中该如何解决这一问题？

随机梯度下降

要用梯度下降，得先计算：

如果 N 很大，那么计算量就很大，而一般都希望 N 大一点（因为想要尽量多的数据）。可以化简吗？一种方式是忽略一部分。尽管这看起来像个不靠谱的方案，但却有坚实的理论基础。要理解这一点，首先注意 J 其实可以写成期望值：

式中的