关于模型 stable_diffusion 显存的怪异问题
收藏
各位好,初学 Paddle 遇到了一个问题.
我使用CPU版本可以正常渲染 stable_diffusion 模型,只是速度非常非常慢.
但如果使用GPU版本就会报错.
报错:
Out of memory error on GPU 0. Cannot allocate 39.062500GB memory on GPU 0, 6.084778GB memory has been allocated and available memory is only 8.764587GB.
Please check whether there is any other process using GPU 0.
1. If yes, please stop them, or start PaddlePaddle on another GPU.
2. If no, please decrease the batch size of your model.
首次测试是 GTX 1650 , 我以为是显存太小 , 就换了一套 T4 显卡的机器 , 但依然会报这个错误.
CUDA 11.6 / cuDNN 8.4.0
请问有其他人遇到过这种问题吗?
其次还有一个问题:
相同的模型配置下,通常情况下 GPU 的推理要比 CPU 慢好几倍. (不是首次调用).
这个有什么好的解决办法吗?
0
收藏
请登录后评论
1
不应该呀，你可以在aistudio上使用免费的显卡体验下，这边可能没有进行优化，导致显存占用较大，但是再gpu上速度应该还是蛮快的。应该不会存在gpu比cpu慢的问题，有没有可能是没有使用到gpu的原因。