基于SimNet的预训练模型,可以进行增强训练吗
收藏
由于自己的数据有限,只有几千条。可以基于SimNet的预训练模型,再用自己的数据进行增强训练吗?
效果会怎么样?能否体现自己的业务特征?
还是说,必须用自己的数据,从0开始训练?
0
收藏
请登录后评论
这个是推荐系统的模型吗
基于SimNet的预训练模型,再用自己的数据进行增强训练吗
------------------------------------------------------------------
这可能是最好的方式啦~能体现你的业务特点
这个模型常用于推荐,本质上是做语义相似度计算
谢谢 #4阿奴波仔!
预训练模型一般只能用新数据训练吧?有自己在预训练模型基础上再进行模型改动的么?
你有预训练模型参数的话,就不太能改这部分模型结构了,不然参数加载不上哇。但是在原有模型后面再接入别的层,这个倒是可以的,也有这么做的
可以
效果可能会变化不大
小数据集上训练可以用各种数据增强的方法
或者就是拿别人已经训练好的模型
再后面再加个层 训练你的样本
我看paddle-detection的模型是分层存储的。这是不是说如果我自己的模型也分层存储,那么日后改动的话前面层的参数是可以继续使用的。但如果改动中间层的话,后面层的参数还有意义么?应该是没法用了吧。
也不一定,当作一个好的初始化呗
请问,paddle-detection存的模型,有什么办法读到动态图写的模型里么?
这个没研究过,可以去github上提个 issue 问问