Paddle Lite支持英伟达的Jetson硬件吗?
收藏
Paddle Lite支持英伟达的Jetson硬件吗?
旧鸱c_
已解决
2#
回复于2021-08
对于英伟达的Jetson硬件,用户应该使用飞桨的原生推理库paddle inference。 使用Paddle Inference有两个优势:1. Paddle Inference是PaddlePaddle的原生推理库,与NV的Jeston硬件做了深度的适配,在该硬件上支持的所有Paddle原生的模型 2. 使用Paddle inference,可以利用TRT加速推理。 因为Jetson硬件本身是arm cpu+ NV gpu的异构硬件,如果只是使用Jetson的cpu做推理的话,是可以使用Paddle Lite的,但是显然,这样会浪费该硬件的GPU能力。
0
收藏
请登录后评论
对于英伟达的Jetson硬件,用户应该使用飞桨的原生推理库paddle inference。
使用Paddle Inference有两个优势:1. Paddle Inference是PaddlePaddle的原生推理库,与NV的Jeston硬件做了深度的适配,在该硬件上支持的所有Paddle原生的模型 2. 使用Paddle inference,可以利用TRT加速推理。 因为Jetson硬件本身是arm cpu+ NV gpu的异构硬件,如果只是使用Jetson的cpu做推理的话,是可以使用Paddle Lite的,但是显然,这样会浪费该硬件的GPU能力。