数据挖掘及统计算法研发

数据挖掘DM(DataMining)是20世纪90年代中期兴起的一项新技术,是多门学科和多种技术相结合的产物，1989年在美国底特律召开的第11届国际人工智能联合会议的专题讨论会上,首次提出了知识发现(KDD)这个概念.

1995年,美国计算机学会(ACM)会议提出了数据挖掘,其基本思想是:对观测到的庞大数据集进行分析,研究未知的关系和以数据拥有者可以理解的方式来总结数据.数据挖掘常采用的算法及理论有粗糙集、人工神经网络、决策树、遗传算法、Agent算法等.这些算法都在不同的领域内取得比较好的效果,但都对噪声的干扰比较敏感.同时,在现代社会中,随着信息产业的发展,大量的数据信息不可能都存储在数据库中,需要清除掉那些冗余数据,但是由于主观性的意愿,可能删除了对决策有用的数据,影响决策的正确实施.为了解决这些问题,本文从数据集合本身的统计特性出发,提出了一个比较有效的数据挖掘算法,并给出了算法实现的流程图,得到了比较好的效果.