第四期『千言万语』系列技术分享来了!!!
收藏
第四期千言万语:迈向统一的自然语言理解任务
统一NLU任务是通过一个模型实现分类、抽取等任务,而不需要额外添加任何层。
2018年继 BERT 出现之后,标志着整个NLP领域进入一个预训练的时代,NLP终于又迎来了一次突破性发展。现有的一些预训练模型已经可以在十亿级别一下的参数通过 fine-tuning 方式达到 SOTA。但是面对 Few-shot,甚至 Zero-shot 场景下的NLU 任务仍然表现无力。
近年来的主流做法是利用上百亿乃至千亿的预训练模型统一将NLU任务转化为文本生成任务,这样通过人工构造prompt使得大模型可以应用于Zero-shot任务上。
而现有的预训练模型面对Zero-shot场景下的任务表现不良,大多都需要在下游任务上进行fine-tuing才能达到很好的性能。使用时,需要在其顶部针对具体的任务增加对应的head层,并且在不同任务之间无法迁移,需要重新训练。
所以,如何统一 NLU 任务,如何将 NLU 任务集成到预训练的过程中,成为了现今的研究热点。
本期千言万语邀请千言技术专家 阿里云NLP工程师 朱杰为大家带来分享,将主要聚焦于自然语言理解(NLU)的统一问题,对近期会议出现的一些前沿方法进行介绍。
观看直播,参与抽奖,赢精美礼品:
活动详情:
0
收藏
请登录后评论