第四期千言万语：迈向统一的自然语言理解任务
 
统一NLU任务是通过一个模型实现分类、抽取等任务，而不需要额外添加任何层。
 
2018年继 BERT 出现之后，标志着整个NLP领域进入一个预训练的时代，NLP终于又迎来了一次突破性发展。现有的一些预训练模型已经可以在十亿级别一下的参数通过 fine-tuning 方式达到 SOTA。但是面对 Few-shot，甚至 Zero-shot 场景下的NLU 任务仍然表现无力。
 
近年来的主流做法是利用上百亿乃至千亿的预训练模型统一将NLU任务转化为文本生成任务，这样通过人工构造prompt使得大模型可以应用于Zero-shot任务上。
 
而现有的预训练模型面对Zero-shot场景下的任务表现不良，大多都需要在下游任务上进行fine-tuing才能达到很好的性能。使用时，需要在其顶部针对具体的任务增加对应的head层，并且在不同任务之间无法迁移，需要重新训练。
 
所以，如何统一 NLU 任务，如何将 NLU 任务集成到预训练的过程中，成为了现今的研究热点。
 
本期千言万语邀请千言技术专家 阿里云NLP工程师 朱杰为大家带来分享，将主要聚焦于自然语言理解（NLU）的统一问题，对近期会议出现的一些前沿方法进行介绍。
 
观看直播，参与抽奖，赢精美礼品：

活动详情：