大数据中文分词：灵玖汉语智能分词系统

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

　汉语词法分析系统中间件能对汉语语言进行拆分处理，是中文信息处理必备的核心部件。灵玖综合了各家所长，采用条件随机场(Conditional Random Field,简称CRF)模型，分词准确率接近99%，具备准确率高、速度快、可适应性强等优势;特色功能包括：切分粒度可调整，融合20余部行业专有词典，支持用户自定义词典等。

　　词性标注能对汉语语言进行词性的自动标注，它能够真正理解中文，自动根据语言环境将词语诸如“建设”标注为“名词”或“动词”。灵玖软件采用条件随机场(Conditional Random Field,简称CRF)模型，一级词性标注准确率接近99%，具备准确率高、速度快、可适应性强等优势。

　　条件随机域(场)(conditional random fields，简称 CRF，或CRFs)，是一种判别式概率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。

　　如同马尔可夫随机场，条件随机场为具有无向的图模型，图中的顶点代表随机变量，顶点间的连线代表随机变量间的相依关系，在条件随机场中，随机变量 Y 的分布为条件机率，给定的观察值则为随机变量 X。原则上，条件随机场的图模型布局是可以任意给定的，一般常用的布局是链结式的架构，链结式架构不论在训练(training)、推论(inference)、或是解码(decoding)上，都存在效率较高的算法可供演算。

　　“条件随机场”被用于中文分词和词性标注等词法分析工作，一般序列分类模型常常采用隐马尔可夫模型(HMM)，像基于类的中文分词。但隐马尔可夫模型中存在两个假设：输出独立性假设和马尔可夫性假设。其中，输出独立性假设要求序列数据严格相互独立才能保证推导的正确性，而事实上大多数序列数据不能被表示成一系列独立事件。而条件随机场则使用一种概率图模型，具有表达长距离依赖性和交叠性特征的能力，能够较好地解决标注(分类)偏置等问题的优点，而且所有特征可以进行全局归一化，能够求得全局的最优解。

　　人名地名机构名识别能够自动挖掘出隐含在汉语中的人名、地名、机构名，所提炼出的词语不需要在词典库中事先存在，是对语言规律的深入理解和预测。采用条件随机场(Conditional Random Field,简称CRF)模型，识别准确率达到97%，速度达到10M/s，可在此基础上搭建各种多样化的统计和应用。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

关键词：中文分词 大数据 conditional condition Inference 中文 汉语 智能

能下载吗？收费还是免费？能集成到我的程序中吗？这个网站研究了半天，没有找到答案，似乎是一个独立的软件。

我现在正在急迫找一个好用的中文分词器，用于文本挖掘的，而不是关键词搜索的，一些分词器虽然说的很好，感觉大家发了papers后就没有人维护了，就不往前走了。进入到中文文本挖掘深水区后，基本上都力不从心