可以说在过去十几年时间里，图中这四位学者引领了深度学习发展。第一位就是Yann LeCun，他曾在多伦多大学随Hinton攻读博士后，现在是纽约大学的教授，同时还是Facebook人工智能最重要的推动者和科学家。第二位就是是之前我们多次提到的Geoffrey Hinton，现在供职于Google Brain。第三位是Bengio，他是蒙特利尔大学的教授，他仍然坚持在学术领域里面不断探索。Benjio主要贡献在于他对RNN（递归神经网络）的一系列推动。第四位是Andrew Ng（吴恩达），大家在很多媒体上见到过他。上个月他还来到北京参加过一次技术大会。因为他的华人身份更容易被大家接受。在纯理论研究上面Andrew Ng的光芒不如上述三位大牛，甚至可以说有不小的差距，但是在工程方面的应用他仍然是人工智能领域的权威。

神经网络究竟可以用来干什么？神经网络如果放到简单概念上，可以理解成帮助我们实现一个分类器。对于绝大多数人工智能需求其实都可以简化成分类需求。更准确的描述就是绝大多数与智能有关的问题，都可以归结为一个在多维空间进行模式分类的问题例如，识别一封邮件，可以告诉我们这是垃圾邮件或者是正常的邮件；或者进行疾病诊断，将检查和报告输入进去实现疾病的判断。所以说，分类器就是神经网络最重要的应用场景。

究竟什么是分类器，以及分类器能用什么方式实现这个功能？简单来说，将一个数据输入给分类器，分类器将结果输出。曾经有人问过这样一个问题，如果对一个非专业的人士，你如何用通俗表达方法向他介绍神经网络的分类器。有人就用了水果识别做为例子。例如，我非常喜欢吃苹果，当你看到一个新苹果，你想知道它是不是好吃是不是成熟，你鉴别的依据是很多年里你品尝过的许许多多的苹果。你会通过色泽、气味或其它的识别方法加以判断。这样判断过程在深度学习和神经网络里面，我们就称之为训练过的分类器。这个分类器建立完成之后，就可以帮助我们识别食入的每个苹果是不是成熟。对于传统的人工智能方法，例如逻辑回归来说，它的决策平面是线性的。所以，这一类的方法一般只能够解决样本是线性可分的情况。如果样本呈现非线性的时候，我们可以引入多项式回归。隐层的神经元对原始特征进行了组合，并提取出来了新的特征，而这个过程是模型在训练过程中自动“学习”出来的。

利用神经网络构建分类器，这个神经网络的结构是怎样的？

其实这个结构非常简单，我们看到这个图就是简单神经网络的示意图。神经网络本质上就是一种“有向图”。图上的每个节点借用了生物学的术语就有了一个新的名词——“神经元”。连接神经元的具有指向性的连线（有向弧）则被看作是“神经”。这个图上神经元并不是最重要的，最重要的是连接神经元的神经。每个神经部分有指向性，每一个神经元会指向下一层的节点。节点是分层的，每个节点指向上一层节点。同层节点没有连接，并且不能越过上一层节点。每个弧上有一个值，我们通常称之为“权重”。通过权重就可以有一个公式计算出它们所指的节点的值。这个权重值是多少？我们是通过训练得出结果。它们的初始赋值往往通过随机数开始，然后训练得到的最逼近真实值的结果作为模型，并可以被反复使用。这个结果就是我们说的训练过的分类器。

节点分成输入节点和输出节点，中间称为隐层。简单来说，我们有数据输入项，中间不同的多个层次的神经网络层次，就是我们说的隐层。之所以这样称呼，因为对我们来讲这些层次是不可见的。输出结果也被称作输出节点，输出节点是有限的数量，输入节点也是有限数量，隐层是我们可以设计的模型部分，这就是最简单的神经网络概念。

如果做一个简单的类比，我想用四层神经网络做一个解释。左边是输入节点，我们看到有若干输入项，这可能代表不同苹果的RGB值、味道或者其它输入进来的数据项。中间隐层就是我们设计出来的神经网络，这个网络现在有不同的层次，层次之间权重是我们不断训练获得一个结果。最后输出的结果，保存在输出节点里面，每一次像一个流向一样，神经是有一个指向的，通过不同层进行不同的计算。在隐层当中，每一个节点输入的结果计算之后作为下一层的输入项，最终结果会保存在输出节点上，输出值最接近我们的分类，得到某一个值，就被分成某一类。这就是使用神经网络的简单概述。

除了从左到右的形式表达的结构图，还有一种常见的表达形式是从下到上来表示一个神经网络。这时候，输入层在图的最下方，输出层则在图的最上方。从左到右的表达形式以Andrew Ng和LeCun的文献使用较多。而在Caffe框架里则使用的是从下到上的表达。

简单来说，神经网络并不神秘，它就是有像图，利用图的处理能力帮助我们对特征的提取和学习的过程。2006年Hinton的那篇著名的论文中，将深度学*结成三个最重要的要素：计算、数据、模型。有了这三点，就可以实现一个深度学习的系统。

程序员需要的工具箱

对于程序员来说，掌握理论知识是为了更好的编程实践。那就让我们来看看，对于程序员来说，着手深度学习的实践需要准备什么样的工具。

硬件

从硬件来讲，我们可能需要的计算能力，首先想到的就是CPU。除了通常的CPU架构以外，还出现了附加有乘法器的CPU，用以提升计算能力。此外在不同领域会有DSP的应用场景，比如手写体识别、语音识别等使用的专用的信号处理器。还有一类就是GPU，这是一个目前深度学习应用比较热门的领域。最后一类就是FPGA（可编程逻辑门阵列）。这四种方法各有其优缺点，每种产品会有很大的差异。相比较而言CPU虽然运算能力弱一些，但是擅长管理和调度，比如读取数据、管理文件、人机交互等，工具也丰富。DSP相比而言管理能力较弱，但是强化了特定的运算能力。这两者都是靠高主频来解决运算量的问题，适合有大量递归操作以及不便拆分的算法。GPU的管理能力更弱一些，但是运算能力更强。但由于计算单元数量多，更适合整块数据进行流处理的算法。FPGA在管理与运算处理方面都很强，但是开发周期长，复杂算法开发难度较大。就实时性来说，FPGA是最高的。单从目前的发展来看，对于普通程序员来说，现实中普遍采用的计算资源就还是是CPU以及GPU的模式，其中GPU是最热门的领域。