深度全连接神经网络模型存在哪些不足？

1. 模型结构不够灵活
2. 模型参数太多

卷积神经网络结构上的三大特性

       局部连接、权重共享、下采样->减少网络参数，加快训练速度

卷积神经网络结构：

       卷积层后接一个pooling层

       卷积层：卷积大大减少了模型所需学习的参数量

        Pooling层：通过下采样缩减feature map尺度。常用max pooling 和average pooling.

        输出层：常用softmax函数作为输出层激活函数：容易理解、便于计算

ResNet模型：

微软提出的神经网络，CVPR当年的最佳论文

使用了恒等映射

传统神经网络训练的函数为F(x)

添加恒等映射后，神经网络训练的函数变为F(x)+x

作者认为这样训练出来的网络，相当于是在对x作修正，修正的幅度就是F(x)， F(x)在数学上称为残差。

所以作者提出的网络称为残差网络。

MobileNet v1模型：

由Google在2017年提出的一种小巧高效的卷积网络模型，该模型使用了一种深度可分离卷积结构。深度可分离卷积其实就是把卷积过程进行分解为两个操作：逐通道卷积和逐点卷积。