神经网络是由多个节点组成的层次结构，每个节点通过加权和非线性激活函数的计算来处理输入数据，并将结果传递给下一层节点。而深度学习是在神经网络基础上使用多个隐藏层的深层神经网络。神经网络是深度学习的基础模型，而深度学习在神经网络的基础上引入了多层网络结构，可以自动学习更加抽象和高级的特征表示。
1. 误差反向传播算法
2006年，Hinton等人提出了一种基于无监督学习的深度神经网络模型。模型的训练通过一种全新的方法来解决梯消失的问题，逐层训练打破了以往深度网络难以训练的困境，为深度学习的发展奠定了基础开创了深度学习。但是现代深度学习仍然是采用误差反向传播（backpropagation）算法进行训练的，主要原因有：一些新的激活函数的提出，正则化参数初始化等方法的改进，还有全网络的梯度下降训练的高效等等。
反向传播算法是训练神经网络的主要方法，基于梯度下降，通过计算损失函数对网络参数的梯度，然后按照梯度的反方向调整网络参数，从而使得网络的输出更接近于真实值。反向传播算法利用链式法则，将网络的输出与真实值之间的误差逐层传递回网络的输入层，计算每一层参数的梯度。具体如下：
- 正向传播：将输入样本通过神经网络的前向计算过程，得到网络的输出值。
- 计算损失函数：将网络的输出值与真实值之间的差异，作为损失函数的输入，计算网络预测值与真实值之间的误差。
- 反向传播：根据损失函数的值，逐层计算每个参数对损失函数的梯度。通过链式法则，将上一层的梯度乘以当前层的激活函数对输入的导数，得到当前层的梯度，并传递到前一层，逐层计算直到输入层。
- 更新网络参数：使用梯度下降算法，按照梯度的反方向更新每个参数的值，使得损失函数逐渐减小。
- 重复上述步骤，直至达到训练停止的条件，或者达到最大迭代次数。
反向传播算法的核心思想，是通过计算每一层参数的梯度，逐层更新网络参数，从而使网络能够逼近真实值。
误差反向传播算法在深度神经网络中面临的一个常见挑战是梯度消失问题。为解决梯度消失问题，很多方法被提出：1)激活函数选择，使用非线性激活函数，如ReLU（Rectified Linear Unit）或Leaky ReLU，可以帮助减轻梯度消失问题。2)权重初始化，合适的权重初始化可以帮助避免梯度消失。例如，使用较小的方差来初始化权重，可以保持梯度的合理大小。3)批归一化（Batch Normalization），是一种在每个小批量数据上进行归一化的技术，有助于稳定梯度并加速网络训练。4)残差连接（Residual Connections），是一种跳跃连接的技术，允许激活和梯度在网络中直接传播。5)梯度裁剪（Gradient Clipping），是一种限制梯度大小的技术，通过设置一个梯度阈值，可以防止梯度爆炸，并在一定程度上减轻梯度消失问题等等。这些方法可以单独或结合使用，以帮助解决梯度消失问题，并促使了深度学习的爆发。
2. 层和块的堆积
为了实现这些复杂的网络，一般引入了神经网络块的概念。块(block)可以描述单个层、由多个层组成的组件或整个模型本身。使用块进行抽象的一个好处是可以将一些块组合成更大的组件，这一过程通常是递归的。通过定义代码来按需生成任意复杂度的块，我们可以通过简洁的代码实现复杂的神经网络。
public interface LayerAble {
String getName();
Shape getXInputShape();
Shape getYOutputShape();
void init();
Variable forward(Variable... inputs);
Map<String, Parameter> getParams();
void addParam(String paramName, Parameter value);
Parameter getParamBy(String paramName);
void clearGrads();
}
/**
* 表示由层组合起来的更大的神经网络的块
*/
public abstract class Block implements LayerAble
/**
* 表示神经网络中具体的层
*/
public abstract class Layer extends Function implements LayerAble
下图是nnet层的整体类图，核心是围绕着Layer以及Block的实现，其中Block是Layer的容器类时 目录与文件的关系，其他都是围绕着它们的实现，每一种Layer或Block的实现，都是一篇知名的学术论文， 其背后都有很深的数学推导（解释为什么网络中加入了该类型的层是有效的）：
五、机器学习与模型
先梳理下机器学习与深度学习的关系，如下深度学习只是神经网络向纵深发展的一个分支，深度学习只是机器学习的一个分支，一种模型的特例。
