如何使用ERNIE获得文本的向量表示
收藏
我使用自己的数据集对ERNIE进行了预训练,保存了新的预训练模型,但是后面finetune我只想获得通过ERNIE生成的文本的向量表示,但是后面不知道怎么弄了。求大神指导~
from ernie.tokenizing_ernie import ErnieTokenizer
from ernie.modeling_ernie import ErnieModel
import paddle as P
tokenizer = ErnieTokenizer.from_pretrained('pretrain/ernie-1.0')
re, _ = tokenizer.encode('今天天气很好')
sd = P.load('pretrain/outPutModel/ckpt.bin')
model = ErnieModel.from_pretrained('pretrain/ernie-1.0')
model.set_state_dict(sd)
0
收藏
请登录后评论
文本的向量表示?指的是embedding的结果吗