一种基于层叠模型的中文分词系统

分享到

【作者】庞天杰，张虎
【刊名】太原师范学院学报(自然科学版)
【作者单位】太原师范学院计算机系；山西大学计算机与信息技术学院
【年份】2013
【卷号】第12卷
【期号】第4期
【页码】79-82
【关键词】分词层叠模型中文语料歧义
【摘要】文章分析了山西大学在第四届SIGHAN国际分词评测中的分词系统.根据中文分词中所遇到的问题,对其进行归类并利用层叠模型的思想对分词结果进行逐步的优化,最终达到一个较理想的结果.在该系统中,歧义字段的处理和未登录词内部信息的提取是主要解决的问题.实验结果表明,该系统在NCC(中国教育部国家语委)语料的开放测试中得到的正确率为94.46%,RIV得到较高的96.9%.
【文献类型】期刊