深入浅出数据分析性

读书笔记 数据

数据的真实性高过一切

1. 分解数据

1） 问题分析步骤

• 确定：明确你要解决的问题，并基于问题搜集数据，以及基本情况（假设、分析、基本事实等等）
• 分析：拆分问题、数据以及基本情况为更小的组块，从这些组块抽象出一些基本结论
• 评估：比较这些基本结论，得出你的假设以及结论

2） 心智模型

• 什么是心智模型：由一个人的认识和经验组成
• 心智模型的弊病：心智模型会让你注意或忽视一些问题，并产生错误的假设或者结论（认知偏见）
• 错误的假设会影响数据分析：在不同的假设下，分析相同的数据会得出不同的结论
• 如何避免认知偏见带来的问题：明确认知盲区，即将不确定因素罗列出来

2. 实验

1）观察分析法

• step1：搜集数据、观察并比较（数据只有比较才有意义）
• step2：对观察的结果进行分析，得出结论
• 观察研究法：根据研究对象特点自行分类的一种研究方法，不添加任何控制
• 威胁：充满混杂因素，也即研究对象的差异会导致分析结果有偏差，尤其是当这类差异会影响某个分析中使用的变量时

2）控制对照实验

• 定义：控制单一变量，进行比较
• 威胁：混杂因素也可能成为实验的变量
• 如何避免威胁：随机选择相似组，注意最小随机对象选择

3. 最优化

• 最优化问题：通过一些约束条件，求取目标函数极值的问题
• 目标函数(例)：$C_1*X_1+C_2*X_2=P$
• 约束条件
  如果漏掉重要的约束条件，分析结果会南辕北辙（可以用思维脑图防止遗漏）
  约束条件总是根据实际情况不断变化的
• 一切模型都是错的，但是其中一些是有用的
• 负相关变量：成反比关系的变量

4. 数据图形化

1）如何绘制图形

• 数据图形化的根本在于比较，即将目标变量与实验变量进行比较，以此构建图形
• 如何体现多个变量？可用多种相似的散点图排列进行比较

2）基础图形以及工具

• 散点图是探索性数据分析的一种工具，可使用R绘制

3）假设与数据的关系（因果关系，此处可以与《大数据时代》的相关关系做比较）

• 根据数据图形验证或者否定假设，并且通过细化数据分析，进一步验证假设

5. 验证假设