PaddleSlim与Paddle Lite、Paddle Inference对于量化的支持是怎么样的?
开发者可以通过PaddleSlim获得量化模型。Paddle Lite和Paddle Inferece对int8的量化支持是最为完备,因此推荐飞桨的开发者在实际使用中,使用int8量化。 另外,Paddle Inference还支持fp16的混合精度推理。
开发者可以通过PaddleSlim获得量化模型。Paddle Lite和Paddle Inferece对int8的量化支持是最为完备,因此推荐飞桨的开发者在实际使用中,使用int8量化。 另外,Paddle Inference还支持fp16的混合精度推理。