首页 PaddleNLP 帖子详情
一键预测功能:Taskflow API速度慢,怎么解决???
收藏
快速回复
PaddleNLP 问答NLP 583 2
一键预测功能:Taskflow API速度慢,怎么解决???
收藏
快速回复
PaddleNLP 问答NLP 583 2

如何提高一键预测功能:Taskflow API速度??? 自己在本地做了个增值税发票 实体提取,自己训练的模型,大于1GB大小,准确率OK了,但是现在自己的笔记本上面一键预测,发现这个预测速度很慢,刚测试了,3张发票耗时3分多钟。

这个预测速度正常吗?如果要应用,该怎么设置或者怎么弄下一步?

笔记本配置:AMD Ryzen 5625U, ddr 8GB, ssd硬盘512GB

用的默认的:

 

schema = ['货物名称','销售方名称','规格','单价','日期']
#ie.set_schema(schema)
ie = Taskflow("information_extraction",
#model="uie-x-base",
schema=schema,
task_path='checkpoint/model_best',
precison='fp32',
batch_size=2,
use_fast=True
)
#y_ie = Taskflow("information_extraction", model="uie-tiny", schema=schema,
#precison='fp16', batch_size=2)

doc_path = image_src
results = ie({"doc": doc_path})
pprint(results)

开始时间:[2022-12-30 20:33:59,838]

结束时间:[2022-12-30 20:37:44,726]

已连接到 pydev 调试器(内部版本号 222.4345.23)[2022-12-30 20:33:59,838] [ INFO] - Converting to the inference model cost a little time.
[2022-12-30 20:34:23,765] [ INFO] - The inference model save in the path:checkpoint/model_best\static\inference
[2022-12-30 20:34:27,378] [ INFO] - We are using to load 'checkpoint/model_best'.
[{'单价': [{'bbox': [[1312, 477, 1478, 513]],
'end': 392,
'probability': 0.997779605038744,
'start': 379,
'text': '123.893805309'}],
'日期': [{'bbox': [[1768, 183, 2054, 236]],
'end': 74,
'probability': 0.7369136533815634,
'start': 63,
'text': '2022年10月27日'}],
'货物名称': [{'bbox': [[260, 452, 526, 487]],
'end': 369,
'probability': 0.9988285059990432,
'start': 358,
'text': '*木制品*800实木盘'}],
'销售方名称': [{'bbox': [[514, 943, 912, 986]],
'end': 593,
'probability': 0.999472444565427,
'start': 581,
'text': '东莞XXX}]}]
[2022-12-30 20:36:06,329] [ INFO] - We are using to load 'checkpoint/model_best'.
[{'单价': [{'bbox': [[1194, 461, 1372, 487]],
'end': 367,
'probability': 0.9947210254548793,
'start': 356,
'text': '3.982300885'}],
'日期': [{'bbox': [[1734, 150, 1976, 186]],
'end': 58,
'probability': 0.8525020965837093,
'start': 47,
'text': '2022年10月24日'}],
'货物名称': [{'bbox': [[146, 449, 424, 492]],
'end': 352,
'probability': 0.9992389278963643,
'start': 342,
'text': '*电线电缆*电线电缆'}],
'销售方名称': [{'bbox': [[381, 934, 869, 970]],
'end': 458,
'probability': 0.9993641536175417,
'start': 444,
'text': '新XXX'}]}]
[2022-12-30 20:37:44,726] [ INFO] - We are using to load 'checkpoint/model_best'.
[{'单价': [{'bbox': [[1466, 515, 1597, 541]],
'end': 356,
'probability': 0.9572326513005578,
'start': 347,
'text': '181133.53'}],
'日期': [{'bbox': [[1670, 221, 1897, 254]],
'end': 58,
'probability': 0.7601987102757946,
'start': 47,
'text': '2022年10月26日'}],
'销售方名称': [{'bbox': [[410, 932, 858, 972]],
'end': 461,
'probability': 0.9997306645161501,
'start': 447,
'text': '宁波XX'}]}]

进程已结束,退出代码0

0
收藏
回复
全部评论(2)
时间顺序
宇宙物语
#2 回复于2023-01

是这样的,预测速度与模型大小成反比,与GPU能力成正比。可以考虑对模型裁剪

0
回复
李长安
#3 回复于2023-01

换GPU啊

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户