深度学习：多层感知机（MLP）、全连接神经网络（FCNN）、前馈神经网络（FNN）、深度神经网络（DNN）与BP算法详解

一、多层感知机（MLP）
多层感知机（MLP）是一种前馈神经网络，由输入层、隐藏层和输出层组成。每个神经元接收上一层神经元的输出，并将其加权求和后经过一个非线性激活函数进行处理。MLP能够处理非线性问题，通过学习合适的权重和偏差来建立输入与输出的映射关系，被广泛用于机器学习和深度学习任务。
二、全连接神经网络（FCNN）
全连接神经网络（FCNN）也被称为多层感知器（MLP），是一种最基础的人工神经网络结构。在全连接神经网络中，每个神经元都与前一层和后一层的所有神经元相连接，形成一个密集的连接结构。全连接神经网络能够学习输入数据的复杂特征，并进行分类、回归等任务。
三、前馈神经网络（FNN）
前馈神经网络（FNN）是人工神经网络的一种，采用一种单向多层结构。其中每一层包含若干个神经元。在此种神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到下一层。第0层叫输入层，最后一层叫输出层，其他中间层叫做隐含层（或隐藏层、隐层）。隐层可以是一层，也可以是多层。整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示。
四、深度神经网络（DNN）
深度神经网络（DNN）是一种具备至少一个隐藏层的神经网络，利用激活函数去线性化，使用交叉熵作损失函数，利用反向传播优化算法进行学习训练的前馈神经网络。深度神经网络能够通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
五、BP算法
BP算法是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。正向传播时，输入样本从输入层进入网络，经隐层逐层传递至输出层，如果输出层的实际输出与期望输出(导师信号)不同，则转至误差反向传播；如果输出层的实际输出与期望输出(导师信号)相同，结束学习算法。反向传播时，将输出误差(期望输出与实际输出之差)按原通路反传计算，通过隐层反向，直至输入层，在反传过程中将误差分摊给各层的各个单元，获得各层各单元的误差信号，并将其作为修正各单元权值的根据。这一计算过程使用梯度下降法完成，在不停地调整各层神经元的权值和阈值后，使误差信号减小到最低限度。