1、卷积层：主要用于提取局部特征。对于浅层的卷积层，提取的低维度的纹理等信息，此时的特征图尺寸大，但维度低；对于深层的卷积层，提取的高维度、抽象的语义信息，此时的特征图尺寸小，但维度高；（重点关注如何扩大感受野，CNN+Transformer）

2、池化层：主要用于调节图像、特征图的尺寸。用于减小计算量、扩大感受野，并且也起到防止过拟合的作用；(重点关注如何避免下采样过程中信息丢失，例如focus结构)

3、激活函数层：主要给网络增加非线性，使其表达能力更强。毕竟没有激活函数的神经网络，设计的再深也没用；（重点关注激活函数的导数，防止梯度消失和梯度爆炸）

4、归一化层：主要是将每层的输入数据进行归一化，加快模型的收敛；（重点关注数据长度不一的情况，如NLP，以及多卡训练时的sync BN）

5、全连接层：主要是每个神经元都与输入相连接，一般起到分类器的作用；