国开电大《大数据预处理》形考任务作业一、二、三试题及参考资料

大数据预处理形考任务1答案

形考一(实验1、2、3,三选一,权重40%,需辅导教师评阅)

实验1:缺失数据处理——实训内容及要求

实验目的:

1.认识数据中的缺失数据。

2.认识缺失值信息,掌握缺失值信息提取的方法。

3.掌握缺失值插补的方法。

实验内容:

1.准备数据和编程环境。

2.基于波士顿房价数据集构造缺失值并进行观察

3.对两个数据集的缺失值进行概览

4.简单统计量补缺程序

5.线性回归模型填补程序

6.GBDT模型补缺程序

实验要求:

1.自主将实验数据读入实验环境。

2.自主运行示例程序,观察实验结果。

3.举一反三,自己尝试对二手车数据集中的其它变量进行缺失值填补。

大数据预处理形考任务2答案

形考二(实验4、5,二选一,权重30%,需辅导教师评阅)

实验目的:

1.认识异常值。

2.掌握异常值处理方法。

实验内容:

1.准备数据与编程环境

2.客观法(等宽分箱)

3.客观法(等频分箱)

4.主观法(离散化为二分类变量)

5.主观法(离散化为顺序变量)

6.分类变量转化为哑变量

7.分类变量转化为onehot码

8.顺序变量转换为得分

实验要求:

1.自主将实验数据读入实验环境。

2.自主运行示例程序,观察实验结果。

3.举一反三,自己尝试对二手车数据集中的其它变量进行上述操作。

大数据预处理形考任务3答案

形考三(实验6、7,二选一,权重30%,需辅导教师评阅)

实验目的:

1.掌握数据特征缩放的方法。

实验内容:

1.使用未归约数据集训练GBDT模型

2.使用未归约数据集训练GBDT模型

3.使用相关系数选择变量,并观察效果

4.使用方差分析F检验选择变量,并观察效果

5.使用树模型选择变量,并观察效果

6.使用Lasso算法选择变量,并观察效果

7.样本归约,并观察效果

实验要求:

1.自主将实验数据读入实验环境。

2.自主运行示例程序,观察实验结果。