paddlenlp的tokenizer怎么用啊 好难
收藏
tokenizer参数如何设置。设置后如何接收。文档里例子太少。
encoding = self.tokenizer(text.split(),
is_split_into_words=True,
#return_offsets_mapping=True,
padding='max_length',
truncation=True,
max_length=self.max_len)
word_ids = encoding.word_ids()
这样pytorch的代码怎么改成paddle
设置了return_position_ids怎么接收
0
收藏
请登录后评论