pred_cfg.enable_use_gpu(2000, 0) 啥意思呀
收藏
# 启用 GPU 进行预测
# 参数:memory_pool_init_size_mb - 初始化分配的gpu显存,以MB为单位
# device_id - 设备id
# 返回:None
paddle.inference.Config.enable_use_gpu(memory_pool_init_size_mb: int, device_id: int)
Q:从文档中查到这些,还是没理解初始化分配gpu内存啥意思,给我预测的时候限定只能用2000MB以内的内存?
1
收藏
请登录后评论
是的,有时候会在一张卡上同时跑几个任务,加上显存限制后,如果一个炸了不容易影响到其他的任务
哦哦是设置单个任务的上限