菜鸡的数据挖掘与大数据分析

数据挖掘 机器学习
‘

课程信息

使用工具：

• 数据挖掘Weka工具包
• 安装Java

大数据概论

生成和使用数据的模式正在变化

• 传统模式：少量公司生成数据，其他人使用数据
• 新型模式：所有人都在生成数据，所有人都在使用数据

主要任务

• 关联分析：关联规则挖掘，亚组发现
  首先要将数据离散化
• 分类/回归
  决策树，人工神经网络
• 聚类
• 离群点检测

其中，分类和聚类是目前的研究重点

数据预处理

属性类型

分类型与数值型

离散型与连续型

二元属性binary attributes

定义：

离散属性的特例，只能取两个值，0/1、真/假，男/女等

数据类型

记录数据

• 数据矩阵
• 文档数据
• 购物篮数据/事务数据

图数据Graph

• 万维网
• 分子结构

有序数据Ordered

• 时序数据
• 序列数据
• 基因序列数据
• 空间数据

数据的统计描述

中心趋势度量

• 均值mean
• 中位数median
• 众数mode

数据的散布

• 极差max - min
• 四分位数quantile
• 四分位数极差(距离)：
   $IQR = Q_3 - Q_1$
• 方差variance
• 标准差standard deviation
• 五数概括：
   $[min , Q_1 , median , Q_3 , max]$

数据的相似性度量

标称属性数据

 标称变量Nominal variable是二元变量的推广，有多种标准状态，如red yellow blue
 相异性度量方法：

对于i,j两组数据，m为状态相同的变量数目，n为变量总数

$$d(i,j) = \frac{p - m}{p}$$

二元变量属性数据

1. 首先获取列联表/contingency table：
   ctrl + v