Paddle 分布式推理

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

j jiangsiyuan93 发布于2022-03

paddle FleetX 能做分布式训练，但是当我训练了一个特别大的模型时，例如130亿参数量的Transformer，我没办法在单张卡上做推理。那么Paddle Inference 能做到分布式推理么，例如模型并行，将模型切分到多张卡上，再做推断。

0

收藏

回复

全部评论(1)

Victory8858

#4 回复于2022-05

我也想问，推理不能多卡吗

0

回复

提issue

需求/bug反馈？一键提issue告诉我们

提pr

发现bug？如果您知道修复办法，欢迎提pr直接参与建设飞桨~