在计算能力不断加强的今天，各种新型网络训练的效率和效果也在逐渐提高。 所有的体系结构都使用了ReLU作为激活函数，softmax作为输出函数，以及交叉熵作为惩罚。 然而，深层神经网络模型以牺牲大量计算资源为代价，在提高学习能力的同时不应产生比浅层神经网络更高的错误率。 卷积神经网络目前表示了用于图像分类任务的前沿算法，构成了深度学习中的主要体系结构。

在MNIST图像上，TensorFlow和经过上述架构训练的第一个卷积层5 5滤波器。 其计算方式是在数据流图( Data Flow Graphs )的概念下构想的。 例如，patternnet函数专门针对模式识别问题而设计，newfit函数适用于回归问题。 另一方面，feedforwardnet函数是最灵活的，可以构建定制的复杂网络。

介绍了卷积神经网络发展史上著名的模型，这些模型非常经典，各有优势。 池化层包含6个特征映射，每个映射的像素值为14×14。 这种池化层非常重要，在一定程度上提取了网络特征的同时，运算量也大大降低，减少了网络结构过拟合的风险。 展示了在所有提到的框架中如何构建和训练这样的神经网络，探索了其最常见的功能，并在MNIST上进行了一些实验，指出了重要的特征。

由上图可知，与ResNet相比，DenseNet参数的量大幅减少，效果较好，但DenseNet需要消耗更多的内存。 LeNet-5模型包括七层，每层都包含许多参数，这是卷积神经网络的参数。 这将是一种饱和现象，在饱和现象中神经元的梯度变得特别小，必然导致网络学习困难。

为了在充分利用计算资源的前提下提高模型的整体性能，作者使用了Inception模型。 这个模型如下图所示。 可见，类似金字塔的模型使用宽度并联的不同大小的卷积核，增加了卷积核的输出宽度。 首先作者构建了两个plain网络。 这两个网络分别在18层和34层，之后作者又设计了两个残差网络。 层数也分别为18楼和34楼。

机心编译并介绍了其中的一部分。 其中第六节的比较结论部分均作了介绍。 论文原文请点击文末： 。 VGG网络问世已有几年，但在许多其他网络效果不理想的情况下，VGG有时会发挥其优势，取得意想不到的成果。

由于这个主题已经被广泛研究并且持续快速发展，所以我们把这个文档和GitHub库配对了。 此库中的文档将动态更新，并且今后可能会扩大规模。