NLPIR大数据挖掘为中文信息处理提供解决方案

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

　　随着科学技术的发展，中文信息处理已经深入到了社会生活的各方面。广泛的应用对中文信息处理技术也提出了较高的要求。

　　中文信息处理是中文(包括汉语和少数民族语言)语言学和信息技术的融合，它是一门用计算机对汉语(包括口语和书面语)进行转换、传输、存贮、分析等加工的科学。中文信息处理与语言学、计算机科学、心理学、数学、控制论、信息论、声学、自动化技术等多种学科相联系，是自然语言信息处理的一个分支，需要以大量的语言知识、背景知识为依据，对中文信息的人脑处理过程进行模拟。其中，“中文”是指中国通用的所有语言种类，包括汉语及其他少数民族的语言:但一般都是指汉语。“信息”是指能通过视觉、听觉、嗅觉、味觉、触觉等器官或仪器获取，并有一定交际功能的东西，“信息”是不确定性的减少，是负熵。所谓“处理”，是指用计算机对信息进行各种加工，主要的是图像信息和语言信息的识别、模拟、分析、转换和传输。

　　中文信息处理的特点

　　(一)汉字的特殊性

　　我们都知道，英语在计算机信息处理方面的优势就是其字母数量有限， 因而可以很容易的进行输入输出以及信息的加工和处理，而中文的汉字则数量庞大，且字形相对复杂， 这就给汉字的编码带来了不小的困扰。 因此我们根据汉字信息处理过程中的不同要求对汉字进行了不同形式的编码，总结来说有以下几种方案，即汉字输入编码,汉字标准编码, 汉字内码和汉字形码。

　　(二)书面汉语的特殊性

　　汉语的另一个特征是在书面表达中，词语和记号之间没有明显的分隔标记， 这就使自动 分词在书面汉语分析中成立一个难题。分词需要将连续的字按照一定的规范进行有序的组合，比较英文 我们会发现，英文单词之间都是用空格来做分隔符，而中文则是习惯通过字、整句以及段落进行简单的划分，而这其中的一个难点就是对词语的划分，我们都知道， 英语中也有短语划分的问题，但是由于中文的词语远比英语的数量和范围要庞大， 因而处理起来更为困难。

　　三)汉语语音的特殊性

　　在语音方面，汉语的特征是音节结构相对简单，音节划分界限比较清晰， 但是声调和变调是中文与英文的显著区别，因而在语音识别和语音合成方面来讲这是一个劣势， 但是总体上来说汉语语音的处理比之其他方面来说还是相对容易的

　　(三)汉语语法的特殊性

　　在语法方面，汉语词汇的句法功能相对来说难以判断， 这与英语语言上的多变形态有着截然不同的表现。汉语主要依靠词序和虚词来表达不同的含义， 因此如果不能很好的掌握句法，就特别容易产生歧义，因此汉语语句自动分析这一重要技术是一项难以攻克的技术。

　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。

　　NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。

　　随着信息技术在我国社会生活各个领域应用的深入,中文信息处理正在成为人们工作和生活中不可或缺的手段，中文信息处理将具有更加广阔的市场。这将促使中文信息处理方面的高效中文搜索引擎、实时机器翻译、大规模中文文本处理、跨平台中西文自动识别转换、泛中文语义理解、中文电子商务等技术实现重大突破。中文信息处理已成为我国信息技术研究、发展、应用和产业的基础，在互联网日益成长的今天，中文信息处理技术将会更加成熟并创新。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

You can like the life you're living. You can live the life you like.
你可以热爱已有的生活，也可以去追求想要的生活。