首页 炼丹房 帖子详情
现在还手工设计网络结构么?
收藏
快速回复
炼丹房 问答新手上路 2429 58
现在还手工设计网络结构么?
收藏
快速回复
炼丹房 问答新手上路 2429 58

昨天看了一篇介绍 SWideRNet 分割网络的帖子,里面提到了wresnet,以前从没听说过(孤陋寡闻)。然后上网搜搜resnet后来的各种变体或其他网络,发现好多结构效果不错但似乎没怎么流行。

0
收藏
回复
全部评论(58)
时间顺序
jy_503
#22 回复于2020-12

现在一般都是在别人的网络基础上  加加删删吧。

对于特定任务,找到一个有效果的网络是需要运气的吧。

0
回复
thinc
#23 回复于2020-12
恐怕还没办法用作检测、分割任务的特征提取吧

相关文献中好像还没有

0
回复
thinc
#24 回复于2020-12
jy_503 #22
现在一般都是在别人的网络基础上  加加删删吧。 对于特定任务,找到一个有效果的网络是需要运气的吧。

对,还是卷积用的多

0
回复
金龙鱼
#25 回复于2020-12

不然呢

0
回复
AIStudio810258
#26 回复于2020-12
jy_503 #22
现在一般都是在别人的网络基础上  加加删删吧。 对于特定任务,找到一个有效果的网络是需要运气的吧。

原来还得是大部分人工处理

0
回复
AIStudio810258
#27 回复于2020-12
thinc #23
相关文献中好像还没有

啥时候有了,就成熟被认可了

0
回复
AIStudio810258
#28 回复于2020-12
金龙鱼 #25
不然呢

用NAS搜索。我们设计模型的经验只探索了整体空间的一小部分吧。

0
回复
RayAction
#29 回复于2020-12

不知道注意力机制是否可以搜索。一般nas搜索都是定义好搜索空间和conv block。但注意力机制貌似不能定义。

0
回复
thinc
#30 回复于2020-12

今天刷到一个博客:以前机器学习都是手工设计算法,现在深度学习都是手工设计网络,还是逃不出“人工”

0
回复
何必固執丶
#31 回复于2020-12

这个真的没留意过

0
回复
AIStudio810258
#32 回复于2020-12
RayAction #29
不知道注意力机制是否可以搜索。一般nas搜索都是定义好搜索空间和conv block。但注意力机制貌似不能定义。

以后给搜索空间也找个”梯度“,就不用暴力搜索了~~

0
回复
AIStudio810258
#33 回复于2020-12
RayAction #29
不知道注意力机制是否可以搜索。一般nas搜索都是定义好搜索空间和conv block。但注意力机制貌似不能定义。

感觉注意力本身就有选择网络结构的能力

0
回复
AIStudio810258
#34 回复于2020-12
thinc #30
今天刷到一个博客:以前机器学习都是手工设计算法,现在深度学习都是手工设计网络,还是逃不出“人工”

等自动搜索网络了,还得人工设计搜索”原则“或”策略“。人工智能离不开"人工“。

0
回复
AIStudio810258
#35 回复于2020-12
thinc #30
今天刷到一个博客:以前机器学习都是手工设计算法,现在深度学习都是手工设计网络,还是逃不出“人工”

最后啥都自动化了,估计还得人工设计”伦理“吧,啊哈哈

0
回复
AIStudio810258
#36 回复于2020-12
这个真的没留意过

大家讨论的结果是离不开”人工“~

0
回复
thinc
#37 回复于2020-12
以后给搜索空间也找个”梯度“,就不用暴力搜索了~~

好高级的说法

0
回复
thinc
#38 回复于2020-12
最后啥都自动化了,估计还得人工设计”伦理“吧,啊哈哈

我觉得现在的冯诺依曼体系还很难做到,

0
回复
thinc
#39 回复于2020-12
感觉注意力本身就有选择网络结构的能力

只要序列别太长,注意力还是很稳的

0
回复
AIStudio810258
#40 回复于2020-12
thinc #37
好高级的说法

gfnet又有新玩法了

0
回复
AIStudio810258
#41 回复于2020-12
thinc #38
我觉得现在的冯诺依曼体系还很难做到,

更准确的说是设计“设计原则”吧,到最后的设计原则就是伦理吧

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户