首页 Paddle框架 帖子详情
想问一下卷积核的值是如何确定的?
收藏
快速回复
Paddle框架 问答深度学习 13093 28
想问一下卷积核的值是如何确定的?
收藏
快速回复
Paddle框架 问答深度学习 13093 28

新人刚学习一段时间,看到卷积这里有个疑问,卷积核大小是3*3,但是它的内部的值是如何确定的呢?

是随机生成的还是有什么规定?

飞桨代码底层是如何实现的呢?

求大佬告诉一下,谢谢!

2
收藏
回复
全部评论(28)
时间顺序
busyboxs
#2 回复于2020-01

一般是训练的时候进行初始化,如果有预训练模型,那么就从预训练模型中读取,如果没有就通过初始化方法进行初始化(初始化方法有很多)。

初始化之后会在每轮训练的时候进行更新,最终得到的模型也就是卷积层和其他一些层的参数。

0
回复
同乐
#3 回复于2020-01
一般是训练的时候进行初始化,如果有预训练模型,那么就从预训练模型中读取,如果没有就通过初始化方法进行初始化(初始化方法有很多)。 初始化之后会在每轮训练的时候进行更新,最终得到的模型也就是卷积层和其他一些层的参数。
展开

好的,谢谢!

0
回复
AI-BAI
#4 回复于2020-02
一般是训练的时候进行初始化,如果有预训练模型,那么就从预训练模型中读取,如果没有就通过初始化方法进行初始化(初始化方法有很多)。 初始化之后会在每轮训练的时候进行更新,最终得到的模型也就是卷积层和其他一些层的参数。
展开

原来如此,受教了,感谢!

0
回复
AIStudio810258
#5 回复于2020-02

一般是根据特定的概率分布初始化,也可以说是随机的。

0
回复
水水水的老师
#6 回复于2020-03

一般是训练的时候进行初始化,如果有预训练模型,那么就从预训练模型中读取,如果没有就通过随机化方法进行初始化(比如正态normal初始化)。

0
回复
AIStudio810258
#7 回复于2020-03

模型值初始化对收敛效果是有影响的。如果利用已训练好的模型进行迁移学习可以使用paddle-hub。

0
回复
AI-BAI
#8 回复于2020-03
模型值初始化对收敛效果是有影响的。如果利用已训练好的模型进行迁移学习可以使用paddle-hub。

初始化为什么会对最终的收敛结果有影响呀?想不太明白

0
回复
水水水的老师
#9 回复于2020-03
AI-BAI #8
初始化为什么会对最终的收敛结果有影响呀?想不太明白

有些初始化是完全随机

0
回复
水水水的老师
#10 回复于2020-03
AI-BAI #8
初始化为什么会对最终的收敛结果有影响呀?想不太明白

有些是已经学到数据的部分特征了  

0
回复
水水水的老师
#11 回复于2020-03

在其他样布上经过训练  学到部分数据特征的  当然比完全随机的好收敛

0
回复
AI-BAI
#12 回复于2020-03
在其他样布上经过训练  学到部分数据特征的  当然比完全随机的好收敛

原来如此(恍然大悟)

0
回复
AIStudio810258
#13 回复于2020-03
AI-BAI #8
初始化为什么会对最终的收敛结果有影响呀?想不太明白

这个问题有论文探讨过,用normal分布是有原因的。

0
回复
水水水的老师
#14 回复于2020-03
这个问题有论文探讨过,用normal分布是有原因的。

其实自然界中大部分的分布都是正态的

0
回复
AIStudio186008
#15 回复于2020-03

预训练模型吧,,这个基本看情况而定

0
回复
AIStudio810258
#16 回复于2020-03

好的分布能加快模型收敛

0
回复
AIStudio810258
#17 回复于2020-03

好的分布还能帮模型跳出某些局部最优

0
回复
AIStudio810258
#18 回复于2020-03
其实自然界中大部分的分布都是正态的

直觉分布是多种因果关系的叠加,本质应该二项分布产生的原因一样。

0
回复
水水水的老师
#19 回复于2020-03
直觉分布是多种因果关系的叠加,本质应该二项分布产生的原因一样。

的确

0
回复
nascbb
#20 回复于2020-03

normal分布是有原因的

0
回复
MLTcola
#21 回复于2020-04

怎么感觉卷积层上的数就是要训练的参数中的一部分,一开始的话我猜测是随机的或者服从正态分布??

 

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户