需要做哪些检查确保Serving可以运行在GPU环境
收藏
需要做哪些检查确保Serving可以运行在GPU环境
旧鸱c_
已解决
2#
回复于2021-08
注：如果是使用Serving提供的镜像不需要做下列检查，如果是其他开发环境可以参考以下指导。 首先需要确保nvidia-smi可用，其次需要确保所需的动态库so文件在LD_LIBRARY_PATH所在的目录（包括系统lib库）。 （1）Cuda显卡驱动：文件名通常为 libcuda.so.$DRIVER_VERSION 例如驱动版本为440.10.15，文件名就是libcuda.so.440.10.15。 （2）Cuda和Cudnn动态库：文件名通常为 libcudart.so.$CUDA_VERSION，和 libcudnn.so.$CUDNN_VERSION。例如Cuda9就是 libcudart.so.9.0，Cudnn7就是 libcudnn.so.7。Cuda和Cudnn与Serving的版本匹配参见Serving所有镜像列表. (3) Cuda10.1及更高版本需要TensorRT。安装TensorRT相关文件的脚本参考 install_trt.sh.
0
收藏
请登录后评论
注：如果是使用Serving提供的镜像不需要做下列检查，如果是其他开发环境可以参考以下指导。
首先需要确保nvidia-smi可用，其次需要确保所需的动态库so文件在LD_LIBRARY_PATH所在的目录（包括系统lib库）。
（1）Cuda显卡驱动：文件名通常为 libcuda.so.$DRIVER_VERSION 例如驱动版本为440.10.15，文件名就是libcuda.so.440.10.15。
（2）Cuda和Cudnn动态库：文件名通常为 libcudart.so.$CUDA_VERSION，和 libcudnn.so.$CUDNN_VERSION。例如Cuda9就是 libcudart.so.9.0，Cudnn7就是 libcudnn.so.7。Cuda和Cudnn与Serving的版本匹配参见Serving所有镜像列表.
(3) Cuda10.1及更高版本需要TensorRT。安装TensorRT相关文件的脚本参考 install_trt.sh.