在下图(原图为互动图)中,原始的训练数据呈上升趋势并有周期性偏离。如果只用一个线性核,可能会得到这些点的一个普通线性回归。乍一看,径向基函数核可以准确地逼近这些点。但由于径向基函数核是平稳的,在远离观察到的训练数据的地方,它总是会回到均值μ= 0。这就使得预测特别早或者特别晚的时间点时,结果不太准确。只有通过结合几个核函数,才能同时保持数据的周期特性和均值非零的趋势。比如,这个方法可以用于分析天气数据。
通过点击复选框,我们可以把不同的核函数结合成一个新的高斯过程。只有结合了多个核函数,我们才可能捕捉到更复杂的训练数据的特性。
结论读过本文以后,你应该对高斯过程有了一个整体的印象,更加了解它们是如何运作的。正如我们所见,高斯过程为回归问题提供了一个灵活的框架,并且拥有一些拓展功能使它更加通用。如果要处理真实世界的数据,我们经常会发现测量值受到不确定性和误差的影响。利用高斯过程可以定义一个核函数来拟合我们的数据,并为预测结果增加不确定性。比如,McHutchon 等人 [7] 对高斯过程进行了一个特殊的拓展,使其可以兼容包含噪音的输入。
虽然我们大都在回归问题的语境下讨论高斯过程,它也可以用在其它的任务上,比如模型剥离和假设检验。通过比较不同核函数在数据集上的效果,某个领域的专家可以借由恰当地结合核函数或是为其选择参数,来嵌入额外的知识。由于在很多情况下我们无法拥有这样的专家,人们也在研究如何使用深度学习 [8, 9] 从给定数据中学得专用的核函数。此外,也有多篇论文 [10, 11] 探讨了贝叶斯推断、高斯过程和深度学习之间的联系。