循环使用paddlenlp中BERT模型时内存不足

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

Mirukuuuuu 发布于2022-04

我的数据集是[用户，用户推文]

想先用BERT对每个用户的所有推文进行提取，我用一个循环一条推文一条推文的对推文进行编码，但是大概循环到40次左右会报错内存不足。

可是同样的方法我用pytorch可以跑得起来，请问是什么原因导致的呢？

0

收藏

回复

全部评论(1)

十进制到二进制

#2 回复于2022-04

使用至尊版环境减少batachsize

0

回复

提issue

需求/bug反馈？一键提issue告诉我们

提pr

发现bug？如果您知道修复办法，欢迎提pr直接参与建设飞桨~