如何加载微调后的模型参数及tokenizer。
收藏
如题，调用预训练模型在下游任务数据集上微调后保存模型及tokenizer的checkpoint文件到本地。
如何在初始化预训练模型后加载本地微调后的参数文件model_config.json、model_state.pdparams、tokenizer_config.json、vocab.txt。
0
收藏
请登录后评论
已解决：
我的checkpoint保存路径如下：
model：/home/nlp306/xgt/sentiment_analysis/checkpoint/model_checkpoint
tokenizer：/home/nlp306/xgt/sentiment_analysis/checkpoint/tokenizer_checkpoint
则想要在预测时加载这些参数只需如下操作（模型初始化时指定参数文件路径）：
model = ppnlp.transformers.ErnieForSequenceClassification.from_pretrained(
'/home/nlp306/xgt/sentiment_analysis/checkpoint/model_checkpoint', num_classes=2)
tokenizer = ppnlp.transformers.ErnieTokenizer.from_pretrained(
'/home/nlp306/xgt/sentiment_analysis/checkpoint/tokenizer_checkpoint')
不需要设置环境变量么