新建
上传
首页
助手
最?/div>
资料?/div>
工具

龙源期刊?/p>

 http://www.qikan.com.cn 

数据挖掘中数据预处理方法研究

 

作者:王爽

 

来源:《新生代

·

下半月?/p>

2018

年第

08

?/p>

 

        

【摘要】:数据的预处理是对数据分析与挖掘一个非常重要的数据准备工作。本文中针对

数据处理的过程中的清洗、集成、变换、和归约进行总结。通过各种预处理方法,使数据更?/p>

准,更可靠。在这些更精准,更可靠的数据中进行数据挖掘。可以大大提高数据挖掘的准确?/p>

与有效性?/p>

 

        

【关键词】:大数?/p>

 

预处?/p>

 

数据挖掘

 

        

引言

 

        

数据挖掘把人们对数据的应用从低层次的简单查询,提升到从数据中挖掘知识,提供决策

 

        

支持服务。大数据的出现在为人们提供研究样本的同时,又由于数据质量的参差不齐,?/p>

数据挖掘带来了一定阻碍。以致于,数据挖掘之前的数据预处理显得尤为重要。目前对数据?/p>

掘的研究主要集中于挖掘技术、挖掘算法、挖掘语言等。而事实上数据挖掘对所处理的数据有

严格的质量要?/p>

.

在数据挖掘过程中数据预处理至关重?/p>

.

根据统计,在一个完整的数据挖掘?/p>

程中,数据预处理要花?/p>

60%

左右的时间,而后的挖掘工作仅总工作量?/p>

10%

左右。数据预

处理主要包括数据清理、集成、转换和归纳。数据清理是处理数据中的遗漏和清洗脏数据。数

据集成将多数据源中的数据进行合并处理,解决语义模糊性并整合成一致的数据存储。数据归

约将辨别出需要挖掘的数据集合,缩小处理范围?/p>

 

        1

数据清洗

 

        1.1

缺失值处?/p>

 

        

因为无法获取或遗漏等原因造成某属性值不存在,会导致在建模时丢失有用信息,空值数

据也会使建模过程造成不可靠的输出?/p>

 

缺失值处理的有三种方法:直接使用含有缺失值的?/p>

征;删除含有缺失值的特征,该方法在包含缺失值的属性含有大量缺失值而仅仅包含极少量?/p>

效值时是有效的;缺失值补全。常见的缺失值补全方法包括均值插补、同类均值插补、建模预

测、高维映射、多重插补、极大似然估计、压缩感知和矩阵补全。目前最常用的方法是使用最

可能的值填充缺失值,比如可以用回归、贝叶斯形式化方法工具或判定树归纳等确定缺失值?/p>

这类方法依靠现有的数据信息来推测缺失值,使缺失值有更大的机会保持与其他属性之间的?/p>

系?/p>

 

        1.2

异常值处?/p>

 

Ͼλ
新建
上传
首页
助手
最?/div>
资料?/div>
工具

龙源期刊?/p>

 http://www.qikan.com.cn 

数据挖掘中数据预处理方法研究

 

作者:王爽

 

来源:《新生代

·

下半月?/p>

2018

年第

08

?/p>

 

        

【摘要】:数据的预处理是对数据分析与挖掘一个非常重要的数据准备工作。本文中针对

数据处理的过程中的清洗、集成、变换、和归约进行总结。通过各种预处理方法,使数据更?/p>

准,更可靠。在这些更精准,更可靠的数据中进行数据挖掘。可以大大提高数据挖掘的准确?/p>

与有效性?/p>

 

        

【关键词】:大数?/p>

 

预处?/p>

 

数据挖掘

 

        

引言

 

        

数据挖掘把人们对数据的应用从低层次的简单查询,提升到从数据中挖掘知识,提供决策

 

        

支持服务。大数据的出现在为人们提供研究样本的同时,又由于数据质量的参差不齐,?/p>

数据挖掘带来了一定阻碍。以致于,数据挖掘之前的数据预处理显得尤为重要。目前对数据?/p>

掘的研究主要集中于挖掘技术、挖掘算法、挖掘语言等。而事实上数据挖掘对所处理的数据有

严格的质量要?/p>

.

在数据挖掘过程中数据预处理至关重?/p>

.

根据统计,在一个完整的数据挖掘?/p>

程中,数据预处理要花?/p>

60%

左右的时间,而后的挖掘工作仅总工作量?/p>

10%

左右。数据预

处理主要包括数据清理、集成、转换和归纳。数据清理是处理数据中的遗漏和清洗脏数据。数

据集成将多数据源中的数据进行合并处理,解决语义模糊性并整合成一致的数据存储。数据归

约将辨别出需要挖掘的数据集合,缩小处理范围?/p>

 

        1

数据清洗

 

        1.1

缺失值处?/p>

 

        

因为无法获取或遗漏等原因造成某属性值不存在,会导致在建模时丢失有用信息,空值数

据也会使建模过程造成不可靠的输出?/p>

 

缺失值处理的有三种方法:直接使用含有缺失值的?/p>

征;删除含有缺失值的特征,该方法在包含缺失值的属性含有大量缺失值而仅仅包含极少量?/p>

效值时是有效的;缺失值补全。常见的缺失值补全方法包括均值插补、同类均值插补、建模预

测、高维映射、多重插补、极大似然估计、压缩感知和矩阵补全。目前最常用的方法是使用最

可能的值填充缺失值,比如可以用回归、贝叶斯形式化方法工具或判定树归纳等确定缺失值?/p>

这类方法依靠现有的数据信息来推测缺失值,使缺失值有更大的机会保持与其他属性之间的?/p>

系?/p>

 

        1.2

异常值处?/p>

 

">
新建
上传
首页
助手
最?/div>
资料?/div>
工具

龙源期刊?/p>

 http://www.qikan.com.cn 

数据挖掘中数据预处理方法研究

 

作者:王爽

 

来源:《新生代

·

下半月?/p>

2018

年第

08

?/p>

 

        

【摘要】:数据的预处理是对数据分析与挖掘一个非常重要的数据准备工作。本文中针对

数据处理的过程中的清洗、集成、变换、和归约进行总结。通过各种预处理方法,使数据更?/p>

准,更可靠。在这些更精准,更可靠的数据中进行数据挖掘。可以大大提高数据挖掘的准确?/p>

与有效性?/p>

 

        

【关键词】:大数?/p>

 

预处?/p>

 

数据挖掘

 

        

引言

 

        

数据挖掘把人们对数据的应用从低层次的简单查询,提升到从数据中挖掘知识,提供决策

 

        

支持服务。大数据的出现在为人们提供研究样本的同时,又由于数据质量的参差不齐,?/p>

数据挖掘带来了一定阻碍。以致于,数据挖掘之前的数据预处理显得尤为重要。目前对数据?/p>

掘的研究主要集中于挖掘技术、挖掘算法、挖掘语言等。而事实上数据挖掘对所处理的数据有

严格的质量要?/p>

.

在数据挖掘过程中数据预处理至关重?/p>

.

根据统计,在一个完整的数据挖掘?/p>

程中,数据预处理要花?/p>

60%

左右的时间,而后的挖掘工作仅总工作量?/p>

10%

左右。数据预

处理主要包括数据清理、集成、转换和归纳。数据清理是处理数据中的遗漏和清洗脏数据。数

据集成将多数据源中的数据进行合并处理,解决语义模糊性并整合成一致的数据存储。数据归

约将辨别出需要挖掘的数据集合,缩小处理范围?/p>

 

        1

数据清洗

 

        1.1

缺失值处?/p>

 

        

因为无法获取或遗漏等原因造成某属性值不存在,会导致在建模时丢失有用信息,空值数

据也会使建模过程造成不可靠的输出?/p>

 

缺失值处理的有三种方法:直接使用含有缺失值的?/p>

征;删除含有缺失值的特征,该方法在包含缺失值的属性含有大量缺失值而仅仅包含极少量?/p>

效值时是有效的;缺失值补全。常见的缺失值补全方法包括均值插补、同类均值插补、建模预

测、高维映射、多重插补、极大似然估计、压缩感知和矩阵补全。目前最常用的方法是使用最

可能的值填充缺失值,比如可以用回归、贝叶斯形式化方法工具或判定树归纳等确定缺失值?/p>

这类方法依靠现有的数据信息来推测缺失值,使缺失值有更大的机会保持与其他属性之间的?/p>

系?/p>

 

        1.2

异常值处?/p>

 

Ͼλ">
Ͼλ
Ŀ

数据挖掘中数据预处理方法研究 - 百度文库
新建
上传
首页
助手
最?/div>
资料?/div>
工具

龙源期刊?/p>

 http://www.qikan.com.cn 

数据挖掘中数据预处理方法研究

 

作者:王爽

 

来源:《新生代

·

下半月?/p>

2018

年第

08

?/p>

 

        

【摘要】:数据的预处理是对数据分析与挖掘一个非常重要的数据准备工作。本文中针对

数据处理的过程中的清洗、集成、变换、和归约进行总结。通过各种预处理方法,使数据更?/p>

准,更可靠。在这些更精准,更可靠的数据中进行数据挖掘。可以大大提高数据挖掘的准确?/p>

与有效性?/p>

 

        

【关键词】:大数?/p>

 

预处?/p>

 

数据挖掘

 

        

引言

 

        

数据挖掘把人们对数据的应用从低层次的简单查询,提升到从数据中挖掘知识,提供决策

 

        

支持服务。大数据的出现在为人们提供研究样本的同时,又由于数据质量的参差不齐,?/p>

数据挖掘带来了一定阻碍。以致于,数据挖掘之前的数据预处理显得尤为重要。目前对数据?/p>

掘的研究主要集中于挖掘技术、挖掘算法、挖掘语言等。而事实上数据挖掘对所处理的数据有

严格的质量要?/p>

.

在数据挖掘过程中数据预处理至关重?/p>

.

根据统计,在一个完整的数据挖掘?/p>

程中,数据预处理要花?/p>

60%

左右的时间,而后的挖掘工作仅总工作量?/p>

10%

左右。数据预

处理主要包括数据清理、集成、转换和归纳。数据清理是处理数据中的遗漏和清洗脏数据。数

据集成将多数据源中的数据进行合并处理,解决语义模糊性并整合成一致的数据存储。数据归

约将辨别出需要挖掘的数据集合,缩小处理范围?/p>

 

        1

数据清洗

 

        1.1

缺失值处?/p>

 

        

因为无法获取或遗漏等原因造成某属性值不存在,会导致在建模时丢失有用信息,空值数

据也会使建模过程造成不可靠的输出?/p>

 

缺失值处理的有三种方法:直接使用含有缺失值的?/p>

征;删除含有缺失值的特征,该方法在包含缺失值的属性含有大量缺失值而仅仅包含极少量?/p>

效值时是有效的;缺失值补全。常见的缺失值补全方法包括均值插补、同类均值插补、建模预

测、高维映射、多重插补、极大似然估计、压缩感知和矩阵补全。目前最常用的方法是使用最

可能的值填充缺失值,比如可以用回归、贝叶斯形式化方法工具或判定树归纳等确定缺失值?/p>

这类方法依靠现有的数据信息来推测缺失值,使缺失值有更大的机会保持与其他属性之间的?/p>

系?/p>

 

        1.2

异常值处?/p>

 



ļ׺.doc޸Ϊ.docĶ

  • 꼶²йĵطĻɫѡϰͼ
  • ¾ʽҹҵĸķ򼰶Բо
  • ˮȾƹԾ
  • [ʵòο]׾ʮ
  • 25ȫѧ⼰
  • ҵĻƷƽ滮()
  • ˽̰꼶ϲĩϰϻ
  • ̳ñ׼ 淶Ч汾嵥
  • ҽԺֵ涨
  • ר⸴ϰ---С

վ

԰ Ͼλ
ϵͷ779662525#qq.com(#滻Ϊ@)