我们想做一款文字生成相关的产品，需要1秒出结果，paddlenlp能做到吗？一个简单的分词都要算几秒，比如jieba速度快
速度和设备性能、模型大小等有关
在特定的算力条件下，文本生成速度和质量无法兼顾。paddlenlp不太熟悉，一般CV的推理都在1秒以内，所以paddlenlp推理一个短句估计1秒内ok，但是复杂点的场景，可能时间不够用。
可以先用现成的飞桨套件做出一个demo，看看推理时间，做到心里有数。后面再去做优化。
要看你这个任务难不难了
有专门做推理优化的
速度和设备性能、模型大小等有关
在特定的算力条件下，文本生成速度和质量无法兼顾。paddlenlp不太熟悉，一般CV的推理都在1秒以内，所以paddlenlp推理一个短句估计1秒内ok，但是复杂点的场景，可能时间不够用。
可以先用现成的飞桨套件做出一个demo，看看推理时间，做到心里有数。后面再去做优化。
要看你这个任务难不难了
有专门做推理优化的