如何加速训练?

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

SK_qinghe 发布于2021-08

1、混合精度训练；

2、adam+sgd配合的优化算法；

3、合理利用bn；

4、合适的损失函数，例如针对类别不均衡的focal loss;

.......

1

收藏

回复

全部评论(4)

小鱼Arie*

#2 回复于2021-08

欢迎大佬持续更新分享~

0

回复

FutureSI

#3 回复于2021-08

不崩的情况下调大学习率~~

0

回复

SK_qinghe

#4 回复于2021-08

FutureSI #3

不崩的情况下调大学习率~~

嗯嗯，是的。如何能够配合warmup策略更好。

0

回复

FutureSI

#5 回复于2021-09

SK_qinghe #4

嗯嗯，是的。如何能够配合warmup策略更好。

嗯，现在还有许多周期性的学习率策略帮助寻找局部最优

0

回复

提issue

需求/bug反馈？一键提issue告诉我们

提pr

发现bug？如果您知道修复办法，欢迎提pr直接参与建设飞桨~