首页 炼丹房 帖子详情
基于SimNet的预训练模型,可以进行增强训练吗
收藏
快速回复
炼丹房 问答新手上路 1355 12
基于SimNet的预训练模型,可以进行增强训练吗
收藏
快速回复
炼丹房 问答新手上路 1355 12

由于自己的数据有限,只有几千条。可以基于SimNet的预训练模型,再用自己的数据进行增强训练吗?

效果会怎么样?能否体现自己的业务特征?

还是说,必须用自己的数据,从0开始训练?

0
收藏
回复
全部评论(12)
时间顺序
CChan
#2 回复于2020-03

这个是推荐系统的模型吗

0
回复
笨笨
#3 回复于2020-03

基于SimNet的预训练模型,再用自己的数据进行增强训练吗
------------------------------------------------------------------

这可能是最好的方式啦~能体现你的业务特点

0
回复
笨笨
#4 回复于2020-03

这个模型常用于推荐,本质上是做语义相似度计算

0
回复
f
fisher030712
#5 回复于2020-03

谢谢 #4阿奴波仔!

0
回复
AIStudio810258
#6 回复于2020-03
笨笨 #3
基于SimNet的预训练模型,再用自己的数据进行增强训练吗 ------------------------------------------------------------------ 这可能是最好的方式啦~能体现你的业务特点
展开

预训练模型一般只能用新数据训练吧?有自己在预训练模型基础上再进行模型改动的么?

0
回复
笨笨
#7 回复于2020-03
预训练模型一般只能用新数据训练吧?有自己在预训练模型基础上再进行模型改动的么?

你有预训练模型参数的话,就不太能改这部分模型结构了,不然参数加载不上哇。但是在原有模型后面再接入别的层,这个倒是可以的,也有这么做的

0
回复
水水水的老师
#8 回复于2020-03

可以

效果可能会变化不大

0
回复
水水水的老师
#9 回复于2020-03

小数据集上训练可以用各种数据增强的方法

或者就是拿别人已经训练好的模型

再后面再加个层  训练你的样本

0
回复
AIStudio810258
#10 回复于2020-03
笨笨 #7
你有预训练模型参数的话,就不太能改这部分模型结构了,不然参数加载不上哇。但是在原有模型后面再接入别的层,这个倒是可以的,也有这么做的

我看paddle-detection的模型是分层存储的。这是不是说如果我自己的模型也分层存储,那么日后改动的话前面层的参数是可以继续使用的。但如果改动中间层的话,后面层的参数还有意义么?应该是没法用了吧。

0
回复
笨笨
#11 回复于2020-03
我看paddle-detection的模型是分层存储的。这是不是说如果我自己的模型也分层存储,那么日后改动的话前面层的参数是可以继续使用的。但如果改动中间层的话,后面层的参数还有意义么?应该是没法用了吧。
展开

也不一定,当作一个好的初始化呗

0
回复
AIStudio810258
#12 回复于2020-03
笨笨 #11
也不一定,当作一个好的初始化呗

请问,paddle-detection存的模型,有什么办法读到动态图写的模型里么?

0
回复
笨笨
#13 回复于2020-03
请问,paddle-detection存的模型,有什么办法读到动态图写的模型里么?

这个没研究过,可以去github上提个 issue 问问

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户