Paddle支持梯度检查点吗？
收藏
基本思想是只将一些节点的中间结果保存为CheckPoint，在反向传播过程中对这些节点之间的其他部分重新计算。据发明这个技巧的人说可以10倍大的模型放到GPU上，而计算时间仅仅增加20%
CarryOnGoing
已解决
7#
回复于2022-03
已在官方API下面找到了： https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/distributed/fleet/utils/recompute_cn.html#recompute
0
收藏
请登录后评论
你说是类似苏剑林大佬的这篇吗：https://spaces.ac.cn/archives/8444 。不支持，需要自己实现。
不是，梯度检查点是跟混合精度、梯度累加一样，用于小显存训练大模型的技巧
混合精度支持
梯度检查得自己做吧
已在官方API下面找到了：
https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/distributed/fleet/utils/recompute_cn.html#recompute