由公式可知，实际上tanh函数是sigmoid沿x轴缩小2倍，沿y轴伸长2倍，移动1格后得到的，因此有很多相似之处。 位于连续卷积层之间的“池化层”( Poolinglayer )用于压缩数据和参数量并减少过拟合。

人工神经网络( Artificial Neural Networks，简称ANNs )也简称神经网络( NNs )或连接模型( Connection Model )，是动物神经网络有饱和区，输入大或小的地方梯度为0，神经元不能更新。 tanh函数就像伸缩了的sigmoid函数，向下平移了一格，所以它们的关系是线性关系，也就是说。

1、卷积神经网络激活层的作用

这种网络依赖于系统的复杂性，通过调整内部许多节点之间的互联关系来达到信息处理的目的。 边缘检测的原理是利用特定结构的卷积比对源图像进行卷积操作后，得到正好反应图像边缘的特征图。 虽然CNN的每一层具有不同的功能，但传统神经网络的每一层都是对上层特征进行线性回归和非线性变换的操作。

2、激活函数在卷积神经网络中的作用

全连通层( Fully-Connectedlayer )结合所有局部特征成为全局特征，与传统神经网络结构相同。 卷积层的作用是增加局部特征，因为卷积层由一些卷积单位组成并且可以通过卷积核的步进移动获得一些特征图。 简单地说，如果输入是左图像，则池化层的最重要作用是压缩右图像，最大池化层保留最大的特征，图像信息完整。

此外，深度结构(涉及多个非线性处理单元层)非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。