龙源期刊?/p>
http://www.qikan.com.cn
数据挖掘中数据预处理方法研究
作者:王爽
来源:《新生代
·
下半月?/p>
2018
年第
08
?/p>
【摘要】:数据的预处理是对数据分析与挖掘一个非常重要的数据准备工作。本文中针对
数据处理的过程中的清洗、集成、变换、和归约进行总结。通过各种预处理方法,使数据更?/p>
准,更可靠。在这些更精准,更可靠的数据中进行数据挖掘。可以大大提高数据挖掘的准确?/p>
与有效性?/p>
【关键词】:大数?/p>
预处?/p>
数据挖掘
引言
数据挖掘把人们对数据的应用从低层次的简单查询,提升到从数据中挖掘知识,提供决策
支持服务。大数据的出现在为人们提供研究样本的同时,又由于数据质量的参差不齐,?/p>
数据挖掘带来了一定阻碍。以致于,数据挖掘之前的数据预处理显得尤为重要。目前对数据?/p>
掘的研究主要集中于挖掘技术、挖掘算法、挖掘语言等。而事实上数据挖掘对所处理的数据有
严格的质量要?/p>
.
在数据挖掘过程中数据预处理至关重?/p>
.
根据统计,在一个完整的数据挖掘?/p>
程中,数据预处理要花?/p>
60%
左右的时间,而后的挖掘工作仅总工作量?/p>
10%
左右。数据预
处理主要包括数据清理、集成、转换和归纳。数据清理是处理数据中的遗漏和清洗脏数据。数
据集成将多数据源中的数据进行合并处理,解决语义模糊性并整合成一致的数据存储。数据归
约将辨别出需要挖掘的数据集合,缩小处理范围?/p>
1
数据清洗
1.1
缺失值处?/p>
因为无法获取或遗漏等原因造成某属性值不存在,会导致在建模时丢失有用信息,空值数
据也会使建模过程造成不可靠的输出?/p>
缺失值处理的有三种方法:直接使用含有缺失值的?/p>
征;删除含有缺失值的特征,该方法在包含缺失值的属性含有大量缺失值而仅仅包含极少量?/p>
效值时是有效的;缺失值补全。常见的缺失值补全方法包括均值插补、同类均值插补、建模预
测、高维映射、多重插补、极大似然估计、压缩感知和矩阵补全。目前最常用的方法是使用最
可能的值填充缺失值,比如可以用回归、贝叶斯形式化方法工具或判定树归纳等确定缺失值?/p>
这类方法依靠现有的数据信息来推测缺失值,使缺失值有更大的机会保持与其他属性之间的?/p>
系?/p>
1.2
异常值处?/p>