教育行业A股IPO第一股(股票代码 003032)

全国咨询/投诉热线:400-618-4000

中文分词模块jieba有几种模式?

更新时间:2021年11月05日10时27分 来源:传智教育 浏览次数:

好口碑IT培训

随着汉语言的广泛应用,中文信息处理成了一个重要的研究课题,常见于搜索引擎:信息检索、中外文自动翻译、数据挖掘技术、自然语言处理等领域。在处理的过程中,中文分词是最基础的一环。
中文分司是指将个汉字序列切分成一个一个单独的话,是一个学生”经分词中文语句或语段拆成若干汉语词汇。例如,用户输人的语句“我是一个学生,经分词系统处理之后,该语句被分成“我”是”“一个”“学生”四个汉语词汇。

在英文本中,每个单词之间以空格作为自然分界符,而中文只有句子和段落能够
通过明显的分界符来简单划分,词并没有有二个形式上的分界符,虽然英文也同样存在短语的划分问题,但是在词这层上,中文要比英文复杂得多、困难得多。jieba是国内使用人数最多的中文分词工具,可以采用如下方式进行安装:

>>> pip install jieba

安装完之后,通过import语句将其引入:

import jieba


jieba模块支持以下3种分词模式。
(1)精确模式,试图将句子最精准地切开。
(2)全模式,将句子中所有可以成词的词语都扫描出来,速度非常快。
(3)搜索引擎模式,在精确模式的基础上对长词再次切分。
jieba模块中提供了一系列分词函数,常用的是jieba.cut()函数,该函数需要接收如下3个参数。
(1)sentence,需要分词的字符串。
(2)cut_all,控制是否采用全模式。若设为True,代表按照全模式进行分词;若设为False,代表按照精确模式进行分词。
(3)HMM,控制是否使用HMM(Hidden Markov Model,隐马尔可夫模型)。
若要采用搜索引擎模式对中文进行分词,需要使用cut_for_search()函数,该函数中需要接收两个参数:sentence和HMM。
下面分别采用以上3种模式对中文进行分词操作,代码如下:

#02_word_segmentation.py
seg_list = jieba.cut("我来到北京清华大学 ",cut_all-True)
print("[全模式]: "+"/".join(seglist))
#全模式
seg_list = jieba.cut("我来到北京清华大学",cut_all=False)
print("[精确模式]:"+"/".join(seg_list))
#精确模式
seg_list = jieba.cut_for_search("小明硕土毕业于中国科学院计算所,
后在日本京都大学深造")  #搜索引擎模式
print("[搜索引擎模式] :" + ",".join(seg list))

程序输出的结果如下:

[全模式]:我/来到/北京/清华/清华大学/华大/大学
[精确模式]:我/来到/北京/清华大学
[搜索引擎模式]: 小明,硕士,毕业,于,中国,,科学院,中国科学院,计算,
计算所,后,在,日本,京都,大学,日本京都大学,深造

猜你喜欢:

Python模块如何导入__all__属性?

什么是Python模块?Python模块有几类?

Python如何安装pymysql模块?

偏函数是什么?Functools模块偏函数详解

传智python+大数据开发培训

0 分享到:
和我们在线交谈!