变量监控功能占不了多少内存呀

怎么知道是变量监控导致的？

我本地开过类似变量监控的插件，和这个表现一致。如果有大的变量在notebook里，每次cell的运行都会转很久

他即使占不了很多内存，但是变量读取是需要时间的，可以手动创建一个几个g大小的随机数变量，看看后续运行会不会转圈时间很长

难怪有时候前边模型载入和读取数据会消耗很长的时间，可能和变量监控有关系。

这样啊。我一般数据量大了都是用yield处理。还能知道个处理的进度

有个问题，如果文件是需要打乱的，怎么用yield呢？yield之前打乱，那整个文件还是很大，存在了内存中，但是直接yield，又没法打乱。。。

把shuffle的buf_size写大一点

你的意思是不是yield多次取多个样本，然后再shuffle？

参考下这个吧：https://aistudio.baidu.com/aistudio/projectdetail/492314

我觉得，如果可以的话在batch里做shuffle。

如果一个batch里全是同类数据（做分类任务）的话，就麻烦些了。

我再实现GloVe的时候就遇到这个问题，一个batch可能包含的词对内容词全是一个词，就很难搞，把batch设的大一点，就会占内存。

多谢，我学习一下。

这个可能没啥关系，我训练数据量大概是6M*78，单个条目不是图片，用上文件读取感觉又不值得

用本地电脑训练好了，下次在用ai studio训练吧，心疼我的小笔记本

也可能是最近用户用的多吧，感觉开启的时间有所增加。

谢谢各位的分享，学习了。

我今天用自己的电脑训练结果把程序关了，cpu占用还100%，吓得要死

配台好点的游戏本，不亏，劳逸结合哈哈