请问做一个5分类的任务，用了 rstnet50+SE block 发现用的显存太多了，导致 batch size 很小，所以不希望在 resnet 每一层都加 SE block ,那么SE注意力模块是加在较前的layer还是加在较后的layer。

其实是想问：SE 注意力模块是在前几层 256x256 数据较多的得到的注意力特征较好，还是在后几层 32x32 得到的注意力特征多呢？ 那么如果是用原图像 input 作为得到的注意力特征，那么得到的 feature map 是不是就更关注，原图关注的某些特征。这样注意力模块是不是更有价值一点？

不知道这个文字表述是否清晰，请谅解。