shared memory限制为64M的问题
189******30 发布于2020-03 浏览:2260 回复:12
0
收藏

模型预测生成结果时,会随机的导致内存溢出,或运行自动重启。这个问题一直困扰,后来在论坛讨论得知这可能是由docker的shared memory限制为64M的问题导致的,这个情况现在有解了么?还是大家都是在靠优化模型和算法克服?这个docker导致的限制能由用户在终端进行修改么?

收藏
点赞
0
个赞
共12条回复 最后由189******30回复于2020-03
#13189******30回复于2020-03
#12 阿扁门前一棵松回复
那么程序一开始就跑不起来吧

有时还能跑,规律属于玄学。

0
#12阿扁门前一棵松回复于2020-03
#10 189******30回复
其实是我预测那部分没用逐batch读取的loader,而是一起读到内存里,才导致溢出的。
展开

那么程序一开始就跑不起来吧

0
#11189******30回复于2020-03

是我代码效率的问题。

0
#10189******30回复于2020-03
#9 阿扁门前一棵松回复
只要是并行读取数据那里占内存吧

其实是我预测那部分没用逐batch读取的loader,而是一起读到内存里,才导致溢出的。

0
#9阿扁门前一棵松回复于2020-03
#7 189******30回复
我改了自己的预测代码,绕过去了。也许哪天AI Studio就把整个问题解决了。听说26号更新新版,上传限制从30m改为150m,还有其他一些升级。
展开

只要是并行读取数据那里占内存吧

0
#8阿扁门前一棵松回复于2020-03
#7 189******30回复
我改了自己的预测代码,绕过去了。也许哪天AI Studio就把整个问题解决了。听说26号更新新版,上传限制从30m改为150m,还有其他一些升级。
展开

good

0
#7189******30回复于2020-03
#5 阿扁门前一棵松回复
共享内存可以修改么

我改了自己的预测代码,绕过去了。也许哪天AI Studio就把整个问题解决了。听说26号更新新版,上传限制从30m改为150m,还有其他一些升级。

0
#6189******30回复于2020-03
#4 阿扁门前一棵松回复
内存限制解决了么

还是没搞成。

0
#5阿扁门前一棵松回复于2020-03
#3 189******30回复
谢谢提点,我试试。

共享内存可以修改么

0
#4阿扁门前一棵松回复于2020-03

内存限制解决了么

0
#3189******30回复于2020-03

谢谢提点,我试试。

0
#2西南交大开源回复于2020-03

docker导致的终端也可以修改

0
TOP
切换版块