静态图下的分布式通信
收藏
根据paddle.distributed包的文档,我看到该包似乎仅能用于动态图的分布式通信。 因为demo中的配置初始化方法:paddle.distributed.init_parallel_env()文档中也仅提到了动态图,我们现在有如下场景。 训练过程(动态图)中采用单机多卡方案,线上(转换好的静态图)由于历史原因,只存在单机单卡的情况,因此希望借助paddle.distributed实现多机间的通信,降低推理耗时,不知是否可行,如果可行,有相关的demo或者资料么。
0
收藏
请登录后评论