jieba分词
收藏
一、jieba简介
jieba库是一款优秀的 Python 第三方中文分词库,jieba 支持三种分词模式:精确模式、全模式和搜索引擎模式,下面是三种模式的特点。
精确模式: 试图将语句最精确的切分,不存在冗余数据,适合做文本分析。 jieba.lcut(text, cut_all=False)
全模式: 将语句中所有可能是词的词语都切分出来,速度很快,但是存在冗余数据。 jieba.lcut(text, cut_all=True)
搜索引擎模式: 在精确模式的基础上,对长词再次进行切分,提高召回率,适合用于搜索引擎分词。jieba.lcut_for_search(text)
1、切分方法 就是上述三种
全模式和搜索引擎模式的区别, 全模式是按照逐字遍历作为词语第一个字的方式; 搜索引擎模式只会对精确模式结果中长的词,再按照全模式切分一遍。
2、向切分依据的字典中添加、删除词语
jieba.add_word(word), 添加新的词语,当我们需要自定义某些名称时需要用到,如下。
jieba.del_word(word), 删除字典中已有的词语
3、添加用户自定义词典
jieba.load_userdict()
这个作用和上面单个添加的作用一样,不过正这个是大批量添加,而且这个还可以增加描述性的赐予的词性。
4、使用停用词
停用词就是那些语气词,口头禅之类的,对于研究并无实际贡献,需要删除。 作用原理就是在分词之后,手动遍历分词结果,看他是不是在停用词列表中,如果在,就把他删除。 可以选择手动删除,也可以使用jieba.analyse里的函数。
5、统计切分结果中的词频
这个方法不是jieba中的功能,而是在collections包中的Counter方法, 作用是统计每个词的频数。
0
收藏
请登录后评论