首页 PaddleNLP 帖子详情
如何使用ERNIE获得文本的向量表示
收藏
快速回复
PaddleNLP 问答NLP 1436 1
如何使用ERNIE获得文本的向量表示
收藏
快速回复
PaddleNLP 问答NLP 1436 1

我使用自己的数据集对ERNIE进行了预训练,保存了新的预训练模型,但是后面finetune我只想获得通过ERNIE生成的文本的向量表示,但是后面不知道怎么弄了。求大神指导~

from ernie.tokenizing_ernie import ErnieTokenizer
from ernie.modeling_ernie import ErnieModel
import paddle as P

tokenizer = ErnieTokenizer.from_pretrained('pretrain/ernie-1.0')
re, _ = tokenizer.encode('今天天气很好')

sd = P.load('pretrain/outPutModel/ckpt.bin')

model = ErnieModel.from_pretrained('pretrain/ernie-1.0')

model.set_state_dict(sd)
0
收藏
回复
全部评论(1)
时间顺序
十进制到二进制
#2 回复于2022-02

文本的向量表示?指的是embedding的结果吗

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户