【作业十二】殷杰

第六章、大数据仓库Hive基础

---Hive功能架构

作业描述：

依据上课讲解的【Hive 功能及架构】，使用通俗扼要的语言描述。
以下几点必须作业要体现：

1） Hive 能做什么，与 MapReduce 相比优势在哪里（对于开发者）

2） 为什么说 Hive 是 Hadoop 数据仓库，从【数据存储和分析】方面理解

3） Hive 架构，分为三个部分来理解，最好通过画图理解

1） Hive 能做什么，与 MapReduce 相比优势在哪里（对于开发者）

    （a）hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 sql 查询功能，可以将 sql 语句转换为 MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。     
    （b）Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载extract/transform/load（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
    (c) Hive可以直接访问存储在 Apache HDFS 或 Apache HBase上的数据
    (d) Hive可以执行 Apache Tez 、 Apache Spark 、 MapReduce 语句并其兼容。

2） 为什么说 Hive 是 Hadoop 数据仓库，从【数据存储和分析】方面理解

• Hive的数据存储基于Hadoop HDFS
• Hive没有专门的数据存储格式，数据导入导出只是进行简单的数据平移，不改变数据格式
• Hive存储结构主要包括：数据库、文件、表，不需要索引
• 易扩展(HDFS+MapReduce：可以扩展集群规模；支持自定义函数)
• 数据的离线处理；比如：日志分析，海量结构化数据离线分析
• Hive的执行延迟比较高，因此hive常用于数据分析的，对实时性要求不高的场合
• Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较
  高

3） Hive 架构，分为三个部分来理解，最好通过画图理解

Hive作为客户端，依据Meta store 元数据 (如 MySQL) 中的数据库名、表名、表字段 等信息找到存储于 HDFS 的数据，在 MapReduce 计算框架中执行HQL命令。