首页 Paddle框架 帖子详情
小小白求问:为什么重新跑一次官方模型,结果很差
收藏
快速回复
Paddle框架 问答深度学习模型训练 693 6
小小白求问:为什么重新跑一次官方模型,结果很差
收藏
快速回复
Paddle框架 问答深度学习模型训练 693 6

最近在研究Transformer-TTS的模型,因为百度有官方开源的,就很开心地来跑了,

首先:下载了官方给的,训练好的checkpoint-120000,测试了一下,合成的语音很好!很开心,

然后:自己重新从头训练了一下官方代码(我保证一个字没动 ,哭~),训练了12w次后,期待测试却发现全是噪声!!

然后:怀疑是没有使用多卡,认真学习了aistudio的 多卡脚本训练,薅了100算力(因为四卡训练一小时就需要四算力。。),使用四卡训练了官方的Transformer-TTS模型,12w次!! (用了80算力!)

就在刚刚,发现,测试合成时候几乎还是胡言乱语,,,

请问:大家有类似经验吗?可以帮忙分析一下为什么吗?(github上也请教官方了,目前还没有得到回复~~~)(代码都是百度的,咋运行效果差别这么大呢~~~)

0
收藏
回复
全部评论(6)
时间顺序
AIStudio810260
#2 回复于2020-11

咦,我记得官方给的预训练模型不只训练了12W轮吧?我怎么记得是8卡的200W轮……之前发Parakeet项目搭建经验的时候官方团队本来有想让我从头开始训练,后来一算要跑几星期,最后还是降低要求了。

您这个checkpoint-120000不会是非官方的吧……就是我们在200W轮预训练模型上又训练的12W轮?

0
回复
AIStudio810260
#3 回复于2020-11

预训练模型本身也是框架生态能力的一部分,如果只是应用没必要从头来,放心大胆用或者微调就行了,如果可以迁移学习(比如英文改中文),说不定也能大幅减少训练时间。

就是要训练新网络的时候那就只能重新跑了,不过据我了解,不管是cv还是这个tts的,不用掉500+小时以上算力估计跑不下来……只好本地跑或者把代码整理好提个issue让官方自己跑?

0
回复
AIStudio810260
#4 回复于2020-11

如果是parakeet库的话,您可以看一看官方的配置文件,印象中是300W轮……所以只跑12W轮连5%的进度都不到呢

0
回复
想我莓_
#5 回复于2020-11
咦,我记得官方给的预训练模型不只训练了12W轮吧?我怎么记得是8卡的200W轮……之前发Parakeet项目搭建经验的时候官方团队本来有想让我从头开始训练,后来一算要跑几星期,最后还是降低要求了。 您这个checkpoint-120000不会是非官方的吧……就是我们在200W轮预训练模型上又训练的12W轮?
展开

Transformer-TTS中官方的是 12w(不包括waveflow),你说的200w的是 waveflow模型~~~

请问:难道这12w是 8卡跑的??(我用的是4卡,所以不靠谱?)

0
回复
暮光の灵
#6 回复于2020-11

官方模型有点东西在里面的~

0
回复
AIStudio810260
#7 回复于2020-11
Transformer-TTS中官方的是 12w(不包括waveflow),你说的200w的是 waveflow模型~~~ 请问:难道这12w是 8卡跑的??(我用的是4卡,所以不靠谱?)

咦?不然提个issue问一问?

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户