千言：第二届面向事实一致性的生成评测比赛

赛事链接：https://aistudio.baidu.com/aistudio/competition/detail/726/0/introduction

扫码加入赛事交流群

（一）组队提醒

请务必在完成组队之后再开始结果提交，为保证比赛公平，平台规定有提交记录的选手不可重新组队。

（二）开发框架

赛事不限制选手使用的开发框架。

（三）免费算力

如果选手在AIstudio平台进行模型开发工作，平台将免费提供100h的 V100 GPU算力资源供参赛使用，（AIstudio平台仅限飞桨框架）

（四）关于数据集

1、想问主办方一个问题，这个摘要的训练数据集，是人标注的？摘要的训练数据集发现content与summary有些不符？

这个是正常的，是微博的新闻数据，确实是原数据就缺失摘要里的信息所以给人的感觉summary，和content不太一致。数据集里面可能存在噪声，最终top10评估的时候会有人工评估，测试集也会经过人工review。

2、是不是得限制一下任务2不能爬微博啊？[旺柴]爬到测试集，效果直接拉满

放心，第二轮测试集会重新人工构建的，爬不到。

3、想问下比赛能使用外部数据吗？

可以，但第二阶段进前十名后需要提交参赛报告，其中要说明数量引入的情况，并且不要试图从互联网找测试集2的答案，因为会人工重新标注，且和公开答案相似比例太大会被判定为作弊。

（五）关于基线

1、请问跑paddle studio上的baseline碰到这个报错咋解决啊，版本是paddlenlp 2.5.0

ImportError: cannot import name 'CONFIG_NAME' from 'paddlenlp.utils.env' (/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddlenlp/utils/env.py)

换成2.0.8试试。

（六）结果提交

1、这个提交结果是三个文件打包成一个zip吗？提交初赛测试集的预测结果，提交状态异常，提示：Not zip file error! 

是的，三个结果文件直接压缩，三个文件直接一起压缩，不要放在一个文件夹里再压缩。

2、我看任务3：对话生成。测试集有12236行。现在提交的话，是每段对话，提交最后一句的生成结果。还是每行一个结果呀？

对，每行一个结果，提交的生成结果的行数，和输入的行数要一一对应。

3、这个是指预测结果的数量和测试集的数量不一致吗？System and reference streams have different lengths!

提交的3个文件，行数要和测试集的3个文件行数严格相等，有空行也不行，辛苦检查一下。