深度学习之神经网络

虽然随着神经科学、认知心理学等学科的发展，人们对大脑的结构有了一定程度的了解，但对大脑的智能究竟怎么产生的还知道的很少。我们并不理解大脑的运作原理，以及如何产生意识、情感、记忆等功能。

 

受到人脑神经系统的启发，早期的神经科学家构造了一种模仿人脑神经系统的数学模型，称为人工神经网络，简称神经网络。

 

 

由于神经网络模型一般比较复杂，从输入到输出的信息传递路径一般比较长，所以复杂神经网络的学习可以看成是一种深度的机器学习，即深度学习。

 

神经网络和深度学习并不等价。深度学习可以采用神经网络模型，也可以采用其它模型（比如深度信念网络是一种概率图模型）。

 

深度学习采用的模型主要是神经网络模型。

 

目前，深度学习主要以神经网络模型为基础，研究如何设计模型结构，如何有效地学习模型的参数，如何优化模型性能以及在不同任务上的应用等。

 

 

 

生物神经网络的最小单元是神经元。而人工神经网络的最小单元是感知机。

 

感知机由两步计算组成：

• 线性变换
• 非线性变换

 

运算过程：

输出 = 线性变换 + 非线性变换

 

 

每个神经元可以看做一个小的复合函数。整个神经网络可以看做一个大的复合函数。

 

深度学习模型本质上也是一个运算过程。具有输入和输出。

 

以房价预测为例：

特征值x：面积、楼层、户型…

标签y：价格

 

一个深度学习系统就是一个深度的学习网络。神经网络在过去又被称为多层感知机模型，现在更多称其为神经网络或深度神经网络。

 

深度神经网络通常包含：输入层、输出层和若干隐藏层。

 

通常我们将第一个隐藏层称为网络的第1层，之后依次排序，最后一层叫第4层。有的学者也将输入层成为第0层。

 

 

每个神经元都和下一层的所有神经元相连，即“全连接”。