首页 PaddleNLP 帖子详情
paddlenlp的tokenizer怎么用啊 好难
收藏
快速回复
PaddleNLP 问答学习资料训练NLP 708 0
paddlenlp的tokenizer怎么用啊 好难
收藏
快速回复
PaddleNLP 问答学习资料训练NLP 708 0

tokenizer参数如何设置。设置后如何接收。文档里例子太少。

encoding = self.tokenizer(text.split(),
                             is_split_into_words=True,
                             #return_offsets_mapping=True, 
                             padding='max_length', 
                             truncation=True, 
                             max_length=self.max_len)
        word_ids = encoding.word_ids()  

这样pytorch的代码怎么改成paddle

设置了return_position_ids怎么接收

 

0
收藏
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户