现在还手工设计网络结构么？
收藏
昨天看了一篇介绍 SWideRNet 分割网络的帖子，里面提到了wresnet，以前从没听说过（孤陋寡闻）。然后上网搜搜resnet后来的各种变体或其他网络，发现好多结构效果不错但似乎没怎么流行。
0
收藏
现在一般都是在别人的网络基础上 加加删删吧。
对于特定任务，找到一个有效果的网络是需要运气的吧。
相关文献中好像还没有
对，还是卷积用的多
不然呢
原来还得是大部分人工处理
啥时候有了，就成熟被认可了
用NAS搜索。我们设计模型的经验只探索了整体空间的一小部分吧。
不知道注意力机制是否可以搜索。一般nas搜索都是定义好搜索空间和conv block。但注意力机制貌似不能定义。
今天刷到一个博客：以前机器学习都是手工设计算法，现在深度学习都是手工设计网络，还是逃不出“人工”
这个真的没留意过
以后给搜索空间也找个”梯度“，就不用暴力搜索了～～
感觉注意力本身就有选择网络结构的能力
等自动搜索网络了，还得人工设计搜索”原则“或”策略“。人工智能离不开"人工“。
最后啥都自动化了，估计还得人工设计”伦理“吧，啊哈哈
大家讨论的结果是离不开”人工“～
好高级的说法
我觉得现在的冯诺依曼体系还很难做到，
只要序列别太长，注意力还是很稳的
gfnet又有新玩法了
更准确的说是设计“设计原则”吧，到最后的设计原则就是伦理吧