主题：通过EasyDL为猎头企业实现复杂文本分类

时间：2020年6月10日（线上）

讲师：北京瀚才咨询有限公司负责人 谭笑然

【课程大纲】

1.      猎头行业现状及痛点介绍

知识密集型行业如何将“专家”的经验赋能行业新人

2.      如何使用EasyDL进行复杂文本分类

使用EasyDL进行复杂文本分类的方案介绍

使用EasyDL专业版定制模型的三个核心关注点

EasyDL模型训练和部署实践演示

先简单给大家举个例子，让大家对猎头行业有初步认识，与知识服务业、商务服务业或者知识密集型产业目前面临的问题。

大家可以看下面这个例子，猎头行业会遇到一个问题：招聘过程中，同一个行业内不同的企业会采用不同的职级序列，以互联网为例，比如同样是年薪在30到50万的工程师岗位，可能阿里巴巴是P6级别，腾讯是T3.1，之后叫9级，华为叫T16，京东叫T6，这只是举个例子，可能内部会有不同的职级序列。而且，同一个职级序列，阿里巴巴有的叫工程师，或是专家，会有各种名字。在猎头招聘过程中就会面临一个从业者需要有足够长的时间，来积累行业经验，这样才能给到我们客户或者候选人提供全面的顾问服务。目前情况下，猎头行业目前变得门槛越来越低，大量应届生或者没有行业经验的人进入到这个行业，我们作为企业管理者或者团队领导人，需要赋能给这些新进入行业的小白。以前的言传带教在目前技术背景下变得越来越低效率，在这样的背景下，我们想到了EasyDL这个产品。

因为我是做房地产行业的，通过我们行业的例子给大家说一下，可能同样的行业标准，但其中会有非常大的行业区别。比如大家看左边这两个，一个叫中梁地产杭甬事业部总经理，一个是华润地产华南事业部总经理，看名字来讲叫事业部总经理，类似于同样的职位，但是实际上在我们业务中，因为两家公司采用了不同的职级序列，不同的职位叫法，不同的组织架构，导致了右侧这个区别，中梁事业部总经理负责一到两个项目，最多三到四个，管理的项目货值10亿或20亿，他是年薪100万左右的职业经理人。同样叫事业部总经理，华润地产，因为它是央企，全国只分了6个事业部，华南事业部总经理下辖就有6个城市公司，将近40个项目，管理项目货值超过200亿，这个人如果按行政级别来算，他是央企副厅级干部，同样两个事业部的负责人，在业务上就有比较大的差距。

通过EasyDL大家可以看这一部分，组织分类，智能分类和职级分类，这是我用EasyDL针对地产这个行业做的三个模型，通过这三个模型我就可以把原始语料经过模型的处理，最后变成结构化的标签，新入职员工可以通过这些标签就可以非常清晰地了解到具体岗位，通过EasyDL进行AI赋能，使我们的数据能够更容易解读出来，解决猎头行业的一大痛点。

EasyDL的能力，我们可以通过EasyDL定制一个模型，这个模型是通过行业的通用的标准加上从业人员的专家经验，能够非常低成本、高效率制定出来这个模型，这个模型可以套用到许多的业务场景中的文本信息。之前我给百度录过一个小的VCR，这个VCR中提到，之前有将近200万条关于候选人的数据，这是我们十余年从业经验积累下来的信息，这些信息如果我们单纯靠人工进行标注的话，可能5个人的团队要标注10年左右标完，但是借助EasyDL的能力，最后一个版本这200万条数据大概经过了5个小时左右，就把这3个模型分类进行了结构化的标注，所以说不管是人工智能还是EasyDL，在我们实际业务的应用中真的起到了非常大的效率。

下面举一个具体的例子，大家可以仔细看一下，这也是一会实操的例子。这个例子可能和我们猎头行业或者地产行业的关系就不大了，因为之前也和百度的同学沟通过，今天听课的大部分是在校学生，所以我就找了一个大学专业作为一个例子。

这个例子举的是材料工程专业，这个专业据我在百度上查到的信息，全国有200多所高校开设这个专业。这个专业其实相对来说是比较偏门的行业，以至于它并不是像咱们所认知的，比如985是最强梯队，然后是211，然后是一本，然后是普通本科，因为这是相对冷门的专业，在教育不对各个专业有学科评估的，举个例子，武大985、211，是国内知名大学，昆明理工只是普通本科，但是教育部把它分为B类，武汉大学被分为B-类。这个说明什么，说明在产业或者业务应用中一些普适的标准并不能符合实际业务场景的标准，我们就可以通过EasyDL的能力，重新制定一个符合业务需求的标准。

除了院校还有一个专业，材料类是一个大专业方向，其中教育部分了下面11个小专业，左边是教育部的分类，右边是部分高校对于材料类专业的叫法。举个例子，比如我是一家公司的招聘人员，老板说我需要一个学历优秀的人，这个学历可能在材料类的专业中并不是清华北大就是最好的。大家可以看A类里并没有北京大学，可能在后边某一个地方，985、211这样的一本，并不是老板说的学历好的规则，所以我需要重新设定一个新的规则。前面200多所学校大家可以通过一些代码或者规则进行操作，但是到了专业这块，可能仅仅靠代码或者靠规则就很难完成这么大量复杂的综合，这个专业一共有30多个，学校有200多所，如果你们要用规则和代码做，我在行外人想着可能相对比较复杂。

我再把这个事情加一个难度，可能这只是部分高校开设材料类专业的名称，还有很多材料类的专业名称并没有收录在这里，遇到了这样的简历，比如说我自己虚拟了一个专业叫再生纳米生物材料，这大体上是某一高校材料专业的名称，但是它并不存在于这些语料里，那怎么办，咱们规则也好，代码也好，程序也好，很可能大概率无法对这个专业进行正确的判定。我把刚才看到的这90多所学校以及这30多个专业作为语料放在EasyDL模型里训练出了三个标签，这三个标签就是ABC三个标签，A类院校是指屏幕上看到左边的，B标签的院校，加上学科的名称作为训练的语料，C标签就是除了AB两类，其他全国有900多所本科类院校，加上教育部拟定112个二级专业名称，作为C类标签进行训练，一共做了一万五千条训练数据，经过不到一个小时的训练，我获得了EasyDL文本分类的模型，这个模型在我前期已经做了验证，比如说我拿验证的文本是郑州大学材料科学与工程，大家可以看到它属于材料类专业，郑州大学属于B+的学校，它预测出来就是A类的标签，和A类标签的原始信息以及我希望达成的效果是一致的。又找了一个哈尔滨理工大学的材料工程，它是符合B类标签的规则，它在C+这个栏目里，它也准确地预测出来了它是B类的标签，C类我是拿湖南师范大学心理学进行预测，它不是材料专业，最后进入到了C类标签，最后我拿模拟出来的专业再生纳米生物材料，加上河北工业大学，河北工业大学是A类院校，加上拟定出来的并不属于30个原始语料里的专业，但是它依然有一个99.96%的置信度结果，结果是A类的标签，所以说明EasyDL在处理这种非结构化，没有规律的，甚至需要靠人类思维，预估，模拟思维才能出来的结果上，还是表现的比较好的。

之后是一个常规的，咱们用EasyDL定制文本分类模型的简单方案。首先是数据清洗流程，其次是人工标注以及昨天上课听到的智能标注也好，这样一个文本数据标注的过程，之后会训练出一个最初版本的模型，这个模型如果想要在业务上应用落地，它是需要大量的验证的过程，最后迭代出若干个版本，最后某一个版本才能满足你业务上的需要。最后通过你的可用的模型，再来套用工作中或者实际应用场景中需要进行分类的数据，最后得出来一个结构化的，你想要的结果。

后头这两页因为也没有图了，相对可能比较枯燥，我简单说一下我们在做EasyDL的模型过程中遇到的困难。我们基本上是从2019年10月份开始了解到EasyDL这个产品，最开始用的也是经典版，但是经典版的准确率确实不太能满足我们业务需求，之后从元旦前后测试使用专业版文本分类，大概在3月份，春节之后我们迭代了大概有8个版本，最后才把这个模型训练到基本符合我们业务需求的准确性。

刚才举学校和专业的例子，这其实只是例子，可能我们业务场景中会更复杂，因为我们公司一定不会只招材料工程类的专业，我们可能有十个或者二十个专业方向，有的是word、excel、pdf或者图片，甚至面试时候有各种类型的录音，这种首先要进行数据清洗，才能作为文本分类使用，这个数据清洗，图片类的我们使用了百度AI平台上的OCR的功能，有一些表格OCR，高精度OCR，自定义模板OCR，在数据清洗上起到了非常大的帮助，以及pdf版本文件，可能需要通过一些其他的软件转换格式，以及一些音频文件也是用了科大讯飞的接口转换成文字，所有的语料都要先转换成文字，也就是说我这边提到的数据的数字化，这样咱们才能进行下一步操作。

转换成文字之后，我这上面写的是需要通过各种NLP工具进行关键信息的分离、词法分析，向量分析，就是各种结构化的分类，我举个例子，可能我这边一条数据是十年前的数据，张三，手机号，万科地产湖南区域公司长沙事业部河西片区项目公司的工程总监，后面夹杂着他的年龄、学历、婚否，以及在这家公司任职时长，非常冗余的信息，但是实际上我只需要判定他的职位，我需要训练的模型是关于候选人职级的模型，我就需要把他的公司信息、电话号码、婚否、教育背景这些信息剔除掉，把关键信息留存出来，把数据结构化，把你要做训练模型的信息挑出来，这样才能保证你的模型训练的有效，这也是我们最开始走了很多弯路的地方。因为我们这边确实没有技术背景，所以我们最开始觉得人工智能万能的，我们就把数据根本许多筛选，直接扔到了EasyDL模型里，后来发现第一训练时长非常长，我们有一个版本的模型，第一个版本的模型大概训练了六天才能训练出来。我后来找后台的服务人员提交工单，我说我有十万的数据，但是训练了四天还没有训练完，工作人员问我说，您这个数据有多少条，我说只有十万条，他说不应该，后来我发现可能是因为我这个数据第一比较复杂，第二冗余信息台多，模型很难抽取中最关键的点，再来训练出来这个模型，所以说这个数据把它清理干净，这是非常重要的工作，这是数据结构上需要处理干净。第三点就是我提到的模糊数据的剔除，因为可能在实操的场景中，会有一些数据，即便人工、行业专家也无法给出明确分类，这些数据会像老鼠屎一样污染整个模型，使整个模型分类的置信度有一个比较大的降低，所以这也是我们经过了两三个版本迭代以后发现的问题，所以我们人工将一些可能是A可能是B，这样的语料分出来了。在训练模型的语料中抽离出来，使得模型的准确率有一定程度的提升，这是关于数据的清洗这块。

下面就是数据的标注，因为当时我二三月份在做这个模型的时候，还没有上线文本分类的智能标注功能，所以我们标注的流程上也确实下了很大的工夫，现在有了智能标注的功能，我觉得前两条不会有太大的工作量，我前两天试了一下，准确率还是比较高的，在不是特别复杂的应用场景下准确率还是比较高的。如果大家有一些非常复杂的应用场景，给大家举个例子，这是我做候选人职级这个模型其中一个标签，我应该做了有几万行吧，四万多行。大家可以看一下这个数据的复杂程度吧，因为没有对比，我自认为觉得还是比较复杂，针对相对比较复杂的数据，我的建议是一定要小批量的，高频率去人工标注你的数据。因为我们应用中出现了一个问题，我人工标了五万条数据，但是放到模型中参与训练，实际上只用了五千条数据，之这是有的。人工一条标注就要8分钱，我标注四万条这都是成本，以及你这个版本标注的数据并不一定满足模型的需求，可能你分类的规则还要调，所以说大家一定要先把你的分类确定之后再进行大规模的标注数据。在分类完全敲定之前，要小步快跑，一点点来，不要一下标注太大量数据，第一可能用不上，第二成本可能很高，这是数据这块。以及第二点，人工标注这块，一般都不是一个人标注，如果有多人标注，这个规则一定要清晰明了，因为当时我们用自己的人工标注了一部分，还有一部分是外包的，外包可能也花了一些钱，但是由于我们并没有给出足够容易理解的标准，导致花的几万块钱标注出来的数据是用不了的。大家如果有需求进行人工标注的话，给大家提一个醒，不要花冤枉钱。

之后就是训练模型，一会有一个实操的演练。模型训练以后就是模型验证的工作，首先平台会提供模型的验证报告，它会给出各个分类的精准值。从我这边实际的经验来讲，可能不一定准，可能这只是符合我自己的实际经验，到其他行业和场景可能不应用了，如果准确值低于90%这就是非常不准的模型，可能需要重新分类或者看分类数据是不是有问题。基本上到95%是属于可以使用的模型，我们迭代到最后两三个版本，它的准确率基本上能达到99%，所以如果专业版准确度没有95%以上，基本上你这个模型就是失败的模型。可能98、99%的模型做出来以后，其实在业务中还是需要进行第二次验证，将验证出来可能有错误的数据再重新收集，重新人工再打或者分类，重新投入到模型训练的语料中，重新训练，这样这个模型的准确度，在复杂场景下模型的准确度能从98%提升到99.5%以上，基本上这就是模型验证。

下面咱们就看一个简单的演示，刚才咱们看到的学校、专业。通过学校和专业来制定一个新的规则的实操验证，以及咱们用现实生活中不存在，但是某个应届生会写在简历上虚拟的专业，来验证一下模型在处理这种非原始语料，非规则化数据上的能力。

现在大家看到的就是EasyDL平台主页面，不知道大家了解程度怎么样，我就直接说了。在这个数据管理和标注这个界面，大家可以创建数据集，这边选文本分类，其中这个数据自动去重是非常重要的选项，具体大家需要根据你自己要分类的一个语料的情况。举个例子，比如我给候选人做分类的时候，地产行业有一个职位叫土建工程师，比如我分成一类，我五万条数据里土建工程师有一万或两万，它是权重非常大的。如果我选择了数据自动去重，两万个土建工程师，最后可能只保留一个，有北京土建工程师，上海土建工程师，这样不会去重，但都是北京土建工程师或者工程部土建工程师，如果都是这个名字，他就会被去重掉。如果去重掉，这个语料在这个模型中所占的权重就很低，有可能我1标签是土建工程师，2标签如果是高级土建工程师，写在这个2标签中有土建工程师这样的语料比1标签中的土建工程师的语料多的话，最后有可能并入到2标签，可能我说的逻辑性没有特别好，我是学文科的，请大家见谅。意思就是说数据去重决定了你某一个或某一类文本在标签中的权重，如果你希望这个文本的权重不被降低，就尽量不进行去重，我只是针对我的业务场景有这样的需求，所以我一般数据处理都是不去重的。

咱们创建一个数据测试的数据集，我们点后面的导入，可以选择未标注数据，也可以导入已标注的数据。导入的方式可以通过API或者文本压缩包，刚才展示的TXT它是UTF—8编码的TXT，这个文本直接上传上来，作为标注的数据，再回到这个界面。我现在就不直接进行导入了，因为导入可能还需要十来分钟，我这边有一个一万五千条已经导入好的数据，大家可以看一下，这个数据分了ABC三个标签各五千条，你标签文本数量越平均，其实算出来的准确率是越高的。这个和刚才说的重复的要不要去重也会有关系，因为去重以后，你的标签很难做到每个标签都数量基本统一，但是不去重的话，大家就可以有选择性的，人工控制每个标签数据的数量，我这边分了ABC三个标签A标签是PPT中A类院校，给大家再看一下，也就是左边这个框，加上材料类专业，材料类专业指的是这30几个目前已知的材料类专业作为训练数据，是A类。B类的院校就是右边这个更多的学校，加上这30多个已知的专业作为B类数据，C类的数据是现在全国900多所，除了AB两类院校的，比如大家可以看一下，这确实是什么学校都有，以及112个教育部的二级专业作为C类的干扰选项，来进行导入的三个标签。这三个标签导入进来以后，大家回到全部训练任务这里，就可以进行一个训练，咱们现在创建一个项目试一下。

我选择NLP，文本分类，这边可以根据大家具体的情况来写，点这边新建任务，这边有任务版本，EasyDL非常易用，它可以帮你进行迭代，每次只需要重新导入新的数据就可以进行迭代了。这边是选择数据集，大家可以把这是我刚才选的ABC三个标签放到这里，一说测评集就是可以上传不在ABC原始语料里的，用来测评的数据，它在模型训练好以后会自动的帮你测评一下，你另外一个数据包的准确性。以及这几个训练模型和选择的网络，一会可以让技术大拿给大家讲解一下，这块我就不具体讲解了。提交训练任务以后，像一万五千条大概跑了七分钟就训练完了，大家可以看一下结果，因为这已经是非常简单的业务场景了，所以它的准确率还是相对来说比较高的，但是可能到一些更复杂的场景中，准确率就没法这么高了。

大家再看一下，这边有一个叫效果校验功能，这个功能可以手动输入一些你想要校验的信息，它右边有识别结果和准确率，大家可以验证这个信息是否准确。再给大家验证一下我做出来的模型，咱们先简单找一个，比如说咱们找一个兰州理工大学，A类院校，找一个非材料类专业，比如说教育心理学，咱们校验一下，这是一个C类的标签，符合咱们的预期，如果不是材料类专业的，就进入到C类标签了，OK。

咱们再找一个辽宁师范大学，我是这个学校毕业的，大家可以看到，我确实是学文科的，咱们叫一个金属材料工程专业，辽宁师范大学不属于A类学校和B类学校，最后它的结果应该是C，咱们看一下，也是C类的结果。这两步都还好，咱们通过规则或者通过代码是可以做出相应的规则，通过关键字可以达到。类似于这个，我拟定了一个专业叫做再生纳米生物材料，为了真实性，咱们重新编一个，咱们先选一个学校，昆明理工大学，纳米高分子材料专业，大家可以验证一下这个专业，并没有在这30个原始语料的专业中，这也说明如果你们用代码表示或者用关键字，用规则表示，我拟定的专业是无法被代码识别。理论上，我作为外行想的是无法识别，但是通过EasyDL我想它应该是A，因为昆明理工大学是A类的学校，我自己编的纳米高分子材料听起来像是材料类专业，我们校验一下，希望不要翻车。

好，最后出来的结果它就是A类的标签，通过这几个例子能够一定程度上说明EasyDL这个人工智能模型，在文本分类，在一些相对比较复杂的场景下的文本分类上还是能起到一些，通过代码或者通过规则，通过关键字不容易，或者说劳动量很大才能达到的事情，通过这个EasyDL这个模型让我一个学考古学的人，通过几个小时的模型的训练，就可以得到一个能够应用于业务场景中的模型。

【Q&A】

Q：有同学问怎么把数据抽取出来，就是当时您上传数据冗余的部分是怎么做的，把这些有用的信息提取出来的。

A：大家可以看百度AI这个界面，我虽然是学文科，但是我对于技术还是多少有一定的兴趣，所以我每年也会看百度或者其他友商的产品发布会，2019年我了解到百度大脑AI平台，最开始并没有想用EasyDL做分类，只是想把业务中的数据进行结构化的分类。最开始我使用的是文字识别里的IOCR自定义模板，关于大家刚才说的怎么抽取，我用的是NLP里的，大家可以仔细看一下每个产品的说明，基本上每个场景抽取的方式不太一样，这不是简单的事情，有的是通过向量分析，有的是词法分析，有一些简单的，我在excel里用函数就分出来了，我觉得我的业务场景相对还是比较复杂的，用NLP相应的能力基本上算是给分出来了。我可以给大家看一下我原始的数据是怎样的，我看一下这边有没有现成的，这是我分好的数据。这是某一家地产公司的，你看这个数据清理结果，比如每条数据可能是这样的，有的有部门，有的有职位，有的有姓名，有的有电话，它有不同的年份，原始数据这些都是混在一起的，如果我需要进行EasyDL的训练，是需要进行一个结构化的分类，每一类型的数据在单独的一列这样才能训练，具体怎么分的，可能大家不同场景有不同的办法。基本上我把它们开放平台的大部分功能都看了一遍，是在自然语言处理这里，其中有一个自定义的词性分析，那是我用的比较多的功能，它就可以把不同的信息一定程度能分出来。

Q：今天导入这个学校的训练数据是什么格式存储的？

A：对，这边数据上传可以用压缩包也可以用TXT，但是大家注意得是用UTF—8的数据编码格式，如果不是这个编码格式可能不读。这个数据是怎么获取的，数据是从教育部的学科评估上有相应的，如果大家说的是我刚才举例的专业数据，是从教育部的网站上获取的，它这边会分级分类，就在我准备数据这一天，它把学科的得分从ABC直接改成分数了，大概是这样。

Q：了解。想了解一下文本的智能标注这个产品

A：这个在昨天课里，在昨天百度NLP产品经理讲了一下，EasyDL文本门类是最新发布的产品，可以帮助大家降低人工标注的成本，提升标注效率，可以看一下昨天的内容，可以在B站搜索百度大脑，看到领域信息分类部分，在第三个片段里，就是昨天最新上传的课程内容。另外如果问到数据清洗功能，在Easy Data平台后续的计划，可能会上线文本的预处理能力等等，如果大家对数据的处理有更高的要求和想要增加的功能，可以联系一下我们的工作人员，如果你在群里可以跟小助手讲讲你在数据处理、清洗或者采集方面有哪些需求可以再提，如果是共性问题，我们会增加到之后的产品功能。平台是不是会提供多人标注的功能，我们目前是有这些计划，可以关注官方渠道，等待上线的通知。

Q：一万五千条TXT数据是自己标注的吗？

A：这一万五千条数据分了三类，每一类五千条数据，A类是30几所学校还是40几所学校，我那30几所学校直接在excel填充到五千，打乱顺序，放在A列，再在B列放上专业，也是打乱序列，填充到五千条，之后把AB列合并，合并完了成斗争成A列，在B列写上标签A，这五千条就完成了，B标签和C标签的五千条一样也是这样完成的，这就是涉及到刚才我说的重复数据是否删除以及权重的问题。因为A标签要的就是这30几所学校加上这30几个专业，它不管怎么匹配，要的是这类数据，所以我就直接填充就好了。C标签可能是其他所有的非这96所的学校，我就是把剩下的这900多所学校放在excel里乱序填充，因为这个场景很简单，这个填充和标注的过程不费什么工夫。但是如果你实际应用场景下，你的标注其实是要占用训练这个模型90%以上的时间，大概是这样。

Q：Easy Data线上标注工具是免费的吗？

A：目前是公测免费阶段，还是可以用的。

Q：有同学问文本目前支持哪些格式

A：在专业版上的文本方向现在开放了文本分类，文本分类和序列标注的模型训练，文本分类目前支文本单标签，支持单文件压缩包，刚才A老师提到了这些上传数据集，编码现在只是UTF8格式，文件类型是TXT，如果想进一步了解，可以在页面查找操作文档，在支持文本格式里有更多的介绍。

Q：视觉有智能标注功能码？

A：有的，大家可以在EasyDL平台上进行查看，物体检测也可以进行智能标注的。如果你在Easy Data上面使用智能标注功能，图像分割也是可以的。

Q：有人问如果是自己进行标注，每类标签至少要有多少数据量？

A：这个昨天一个类似的问题，每条标签标多少数据满足需求，这也要看具体业务场景对模型精度，包括数据标注上的要求，可能业务需求不一样，在数据量的要求上也是不同，还要看一下线上业务数据分布情况，考虑一下每类标签下需要多少数据比例的问题。

好，这一部分的QA没有太多问题，我们进入到最后作业布置的环节。如果后续有关于文本或者猎头的问题可以在微信群里提问，在提问之后我们看到以后会进行解答。

作业要求使用EasyDL经典版/专业版，文本分类/短文本匹配/序列标注模型。进行模型训练，训练数据可以采用自选数据。提交就是模型信息等，参与有奖评选，可以有读书笔记、使用心得、使用教程、场景方案介绍等文章，在活动贴留言，参加优秀文章有奖评选。

今天是EasyDL产业应用系列最后一节课，首先提醒大家不要忘记完成作业，如果大家对过往课程感兴趣，质检专题和安全专题和NVIDIA专场，可以扫一下二维码，如果对EasyDL典型场景应用感兴趣，可以看一下这个回放，可以添加小助手微信进到课程的沟通群里进行更多的学习和讨论。

感谢各位的参加，如果大家对未来的直播课有哪些内容要求，想听什么方向，什么具体的内容，想邀请到哪些专家和讲师为大家讲解，可以和小助手私聊或大家讨论一下，本次产业应用课程就到这里。感谢笑然老师，也感谢大家的参与。