[关闭]
@hadoopMan 2017-03-04T14:29:55.000000Z 字数 16461 阅读 1654

Hbase进阶

hbase

想学习spark，hadoop，kafka等大数据框架，请加群459898801，满了之后请加2群224209501。后续文章会陆续公开

1，HBase 功能架构

1，hbase是hadoop的数据库

hbase是Hadoop 数据库，因为它具有存储数据和检索数据的功能。而且数据存储是基于HDFS，主要原因依赖hdfs存储数据量大，数据安全性高，而且硬件平台要求低，只需要商用PCServer就可以等特性。与RDBMS 相比hbase可以存储海量数据，而且检索速度可以达到准实时，最迟是秒级别。
打架hbase集群至少需要三个框架Hbase，zookeeper，HDFS。三个环节任意一个环节出问题将导致hbase集群不可用。
hbase是列式存储数据库，即nosql数据库，列数据可以十多版本的。
Cell：{rowkey + cf + column + version(timestamp)} : value
table，分为多个region，region按照rowKey进行管理，[startRowKey,stopRowKey),四个key分为5个Region。不在范围内的便于插入region头和尾部。
region.png-1.7kB
在默认的情况下，创建一个表时，会给一个表创建一个Region

2，hbase架构

1，hbase结构图

hbase架构图.png-133.6kB
hbase客户端存储和检索数据直接是通过zookeeper来实现的。依据rowkey在zookeeper上找到对应的region，然后根据region通过zookeeper找到对应的regionserver，这个过程并没有经过Hmaster。最后找到regionserver去检索数据。

2，HBase 写数据

client 会先写入 hlog 文件（WAL：Write Head Log） 再写入memStore(Memroy)达到一定阈值的时候flush到StoreFile。这样可以保证数据完整性。

3，hbase数据存储

hbase中所有数据文件都存储在hadoopHDFS文件系统上，主要包括两种文件类型：
1，HFile：hbase中kevalue数据的存储格式，HFile是hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级的包装，进行数据存储。
2，HLogFile：hbase中WAL(Write Ahead Log)的存储格式，物理上是Hadoop的SequenceFile。

4，HRegion Server

1，HRegionServer内部管理了一系列HRegion对象，每个HRegion对应了tables中的一个region，HRegion中由多个HStroe组成。每个HStore对应于Table中的一个column family的存储，可以看出每个columnfamily其实就是一个集中的存储单元，因此最好将具备共同IO特性的column放在一个columnfamily中，这样最高效。
2，HStore存储是Hbase存储的核心，由两部分组成，一部分是MemStore，一部分是StoreFile。MemStore是Sorted Memory Buffer，用户写入的数据首先会放入Memstore，当MemsTore满了以后会flush成一个storeFile(底层是现实HFile)。

5，MemStore&storeFile

1，用户写入数据流程
用户写入数据流程.png-143.1kB
2，Client写入数据首先写入到MemStore，一直到MemStore
满，就会flush成一个StoreFile，直至增长到一定阈值，就会触发Compact合并操作，多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除，当StoreFilesCompact后，逐步形成越来越大的StoreFile，单个StoreFile大小超过一定阈值之后，触发Split操作，把当前Regio Split成两个Region，父region会下线，新的split出的两个孩子region会被HMaste分配到相应的HRegionServer上，使得原先1个region的压力得以分流到2个region上。
3，HBase只是增加数据，有所得更新和删除操作，都是在Compact阶段做的，所以用户写操作只需要进入到内存即可立即返回，从而保证IO高性能。

6，HLog文件结构

1，WAL意为Write ahead log，类似Mysql中的binlog，用来做灾难恢复。Hlog记录数据的所有变更，一旦数据修改，就可以从log中进行数据恢复。每个HRegionServer维护一个HLog而不是一个Hregion一个。这样不同region(来自不同tables)的日志就会混在一起，这样做的目的是不断追加单个文件相对于同时写多个文件而言，可以减少按值寻址次数，因此可以提高对table的写性能，带来的麻烦事，如果一台HRegionServer下线，为恢复其上的region，需要将HRegionServer上的log进行拆分，然后分发到其他hregionServer上进行数据恢复。

3，深入hbase架构

hbase架构图

1，client

1，整个hbase集群访问入口；
2，使用HBase RPC机制与HMaster和HRegionServer进行通信；
3，与HMaster进行通信管理类操作
4，与HRegionServer进行数据读写操作
5，包含访问HBase的接口，并维护cache来加快对HRegion的访问。

2，zookeeper

1，保证任何时候，集群中只有一个HMaster
2，存储所有HRegion的寻址入口；
3，实时监控HRegionServer的上线和下线信息，并实时通知给HMaster；
4，存储HBase的schema和table元数据；
5，zookeeper Quorum存储-ROOT-表地址、HMaster地址

3，HMaster

1，HMaster没有单点问题，HBase中可以启动多个HMaster，通过zookeeper的Master Election机制保证总有一个Master在运行主要负责Table和Region的管理工作。
2，管理用户对table的增删改查操作；
3，管理HRegionServer的负载均衡，调整Region分布；
4，RegionSplit后，负责新Region的分布；
5，在HRegionServer停机后，负责将失效HRegionServer上Region迁移工作。

4，HRegionServer

1，维护HRegion，处理对这些HRegion的IO请求，向HDFS文件系统中读写数据；
2，负责切分在运行过程中变得过大的HRegion
3，Client访问HBase上数据的过程并不需要master参与(寻址访问zookeeper和HRegionServer，数据读写访问HRegionServer)，HMaster仅仅维护者table和Region的元数据信息，负载很低。

5，HBase & zookeeper

1，HBase依赖zookeeper；
2，默认情况下，HBase管理zookeeper实例，比如，启动或者停止zookeeper；
3，HMaster与RegionServers启动时会向zookeeper注册；
4，zookeeper的引入使得HMaster不再是单点故障。

4，hbase的eclipse编程环境搭建

首先在pom.xml文件中添加如下内容

  1. <properties>
  2.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  3.     <hbase.version>0.98.6-hadoop2</hbase.version>
  4. </properties>
  5. <dependency>
  6.     <groupId>org.apache.hbase</groupId>
  7.     <artifactId>hbase-server</artifactId>
  8.     <version>${hbase.version}</version>
  9. </dependency>
  11. <dependency>
  12.     <groupId>org.apache.hbase</groupId>
  13.     <artifactId>hbase-client</artifactId>
  14.     <version>${hbase.version}</version>
  15. </dependency>

然后再resource目录下添加
hbase-site.xml文件

5，JAVA API的使用

1，hbase表的java api基本使用

  1. package hbase.learn.com;
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.hbase.Cell;
  5. import org.apache.hadoop.hbase.CellUtil;
  6. import org.apache.hadoop.hbase.HBaseConfiguration;
  7. import org.apache.hadoop.hbase.client.Delete;
  8. import org.apache.hadoop.hbase.client.Get;
  9. import org.apache.hadoop.hbase.client.HTable;
  10. import org.apache.hadoop.hbase.client.Put;
  11. import org.apache.hadoop.hbase.client.Result;
  12. import org.apache.hadoop.hbase.client.ResultScanner;
  13. import org.apache.hadoop.hbase.client.Scan;
  14. import org.apache.hadoop.hbase.util.Bytes;
  15. import org.apache.hadoop.io.IOUtils;
  17. public class hbaseJAVAAPI {
  18.     public static HTable getHTableByTableName(String tableName) //
  19.             throws Exception {
  20.     // Get instance of Configuration
  21.     Configuration configuration = HBaseConfiguration.create();
  23.     // Get table instance
  24.     HTable table = new HTable(configuration, tableName);
  26.     System.out.println(table);
  28.     return table;
  29. }
  31. /*
  32.  * Get Data From Table By Rowkey
  33.  */
  34. public void getData()throws Exception {
  35.     String tableName = "user";
  36.     // Get table instance
  37.     HTable table = getHTableByTableName(tableName);
  38.     // Create Get with rowkey
  39.     Get get = new Get(Bytes.toBytes("1001")) ;
  40.     //=======================================
  41.     get.addColumn(//
  42.         Bytes.toBytes("info"),//
  43.         Bytes.toBytes("age")//
  44.     );
  45.     //=======================================
  46.     // Get Data
  47.     Result result = table.get(get) ;
  48. //  System.out.println(result);
  49.     /**
  50.      * Key:  
  51.      *  rowkey + cf + c + version
  52.      * 
  53.      * Value :
  54.      *  value
  55.      */
  56.     for(Cell cell : result.rawCells()){
  57.         System.out.println(Bytes.toString(CellUtil.cloneRow(cell)));
  58.         System.out.println(//
  59.             Bytes.toString(CellUtil.cloneFamily(cell))
  60.             + ":" //
  61.             + Bytes.toString(CellUtil.cloneQualifier(cell)) //
  62.             + " -> " //
  63.             + Bytes.toString(CellUtil.cloneValue(cell)) //
  64.             + " " //
  65.             + cell.getTimestamp()
  66.         );
  67.         System.out.println("--------------------------------");
  68.     }
  69.     // close
  70.     table.close();
  71. }
  73. /**
  74.  * Put Data into Table 
  75.  * @throws Exception
  76.  * 
  77.  * Map<String,Object>
  78.  * 
  79.  */
  80. public void putData() throws Exception {
  81.     String tableName = "user";
  82.     // Get table instance
  83.     HTable table = getHTableByTableName(tableName);
  84.     // create put instance
  85.     Put put = new Put(Bytes.toBytes("1001")) ;
  86.     // Add a column with value
  87.     put.add(//
  88.         Bytes.toBytes("info"), //
  89.         Bytes.toBytes("sex"), //
  90.         Bytes.toBytes("male") //
  91.     ) ;
  92.     put.add(//
  93.             Bytes.toBytes("info"), //
  94.             Bytes.toBytes("tel"), //
  95.             Bytes.toBytes("010-876523423") //
  96.         ) ;     
  97.     put.add(//
  98.             Bytes.toBytes("info"), //
  99.             Bytes.toBytes("address"), //
  100.             Bytes.toBytes("beijing") //
  101.         ) ;     
  102. /*  
  103.     Map<String,Object> kvs = new HashMap<String,Object>() ;
  104.     for(String key : kvs.keySet()){
  105.         put.add(//
  106.             HBaseTableConstant.HBASE_TABLE_USER_CF, //
  107.             Bytes.toBytes(key), //
  108.             Bytes.toBytes(kvs.get(key)) //
  109.         ) ; 
  110.     }
  111. */      
  112.     // put data into table
  113.     table.put(put);
  115.     // close
  116.     table.close(); 
  117. }
  118. public void deleteData() throws Exception {
  119.     String tableName = "user";
  120.     // Get table instance
  121.     HTable table = getHTableByTableName(tableName);
  122.     Delete delete = new Delete (Bytes.toBytes("1001")) ;
  123.     delete.deleteFamily(Bytes.toBytes("info")) ;
  124. //  delete.deleteColumn(//
  125. //      Bytes.toBytes("info"), //
  126. //      Bytes.toBytes("sex") //
  127. //  ) ;
  128. //  delete.deleteColumns(family, qualifier) ;
  129.     // delete data
  130.     table.delete(delete);
  131.     // close
  132.     table.close();
  133. }
  135. public void scanData()throws Exception {
  136.     String tableName = "user";
  137.     // Get table instance
  138.     HTable table = null;
  139.     ResultScanner resultScanner = null ;
  140.     try{
  141.         table = getHTableByTableName(tableName);
  142.         Scan scan = new Scan() ;
  143. //===========================================================
  144. //Range
  145.     //  scan.setStartRow(startRow);
  146.     //  scan.setStopRow(stopRow) ;
  147. //Scan 
  148.     //  Scan scan2 = new Scan(startRow,stopRow) ;
  149. //add Column
  150.     //  scan.addColumn(family, qualifier) ;
  151.     //  scan.addFamily(family) ;
  152. //Filter
  153.     //  Filter filter = new PrefixFilter(prefix) ;  
  154.     //   scan.setFilter(filter) ;
  155.     // page 
  156.          // PageFilter
  157. //Cache
  158. //      scan.setCacheBlocks(cacheBlocks);
  159. //      scan.setCaching(caching);
  160. //===========================================================
  161.         resultScanner =  table.getScanner(scan) ;
  162.         // iterator
  163.         for(Result result : resultScanner){
  164.             for(Cell cell : result.rawCells()){
  165.                 System.out.println(Bytes.toString(CellUtil.cloneRow(cell)));
  166.                 System.out.println(//
  167.                     Bytes.toString(CellUtil.cloneFamily(cell))
  168.                     + ":" //
  169.                     + Bytes.toString(CellUtil.cloneQualifier(cell)) //
  170.                     + " -> " //
  171.                     + Bytes.toString(CellUtil.cloneValue(cell)) //
  172.                     + " " //
  173.                     + cell.getTimestamp()
  174.                 );
  175.             }
  176.             System.out.println("##################################");
  177.         }
  178.     }catch(Exception e ){
  179.         e.printStackTrace(); 
  180.     }finally {
  181.         IOUtils.closeStream(resultScanner);
  182.         IOUtils.closeStream(table);
  183.     }
  184. }
  185. public static void main(String[] args) throws Exception {
  186.     hbaseJAVAAPI hbase=new hbaseJAVAAPI();
  187.     System.out.println("==================get table name===================");
  188.     hbase.getHTableByTableName("user");
  189.     System.out.println("==================put data===================");
  190.     hbase.putData();
  191.     System.out.println("==================get data===================");
  192.     hbase.getData();
  193.     System.out.println("==================scan data===================");
  194.     hbase.scanData();
  195.     System.out.println("==================delete data===================");
  196.     hbase.deleteData();
  197.     System.out.println("==================scan data===================");
  198.     hbase.scanData();
  199. }
  200. }

2，输出结果如下

  1. ==================get table name===================
  2. ==================put data===================
  3. user;hconnection-0x3be33bad
  4. ==================get data===================
  5. user;hconnection-0x3be33bad
  6. 1001
  7. info:age -> 18 1451913054898
  8. --------------------------------
  9. ==================scan data===================
  10. user;hconnection-0x3be33bad
  11. 10001
  12. info:address -> beijing 1451914706880
  13. 10001
  14. info:sex -> male 1451914706880
  15. 10001
  16. info:tel -> 010-876523423 1451914706880
  17. ##################################
  18. 1001
  19. info:address -> beijing 1451915182523
  20. 1001
  21. info:age -> 18 1451913054898
  22. 1001
  23. info:name -> lisi 1451913049037
  24. 1001
  25. info:sex -> male 1451915182523
  26. 1001
  27. info:tel -> 010-876523423 1451915182523
  28. ##################################
  29. ==================delete data===================
  30. user;hconnection-0x3be33bad
  31. ==================scan data===================
  32. user;hconnection-0x3be33bad
  33. 10001
  34. info:address -> beijing 1451914706880
  35. 10001
  36. info:sex -> male 1451914706880
  37. 10001
  38. info:tel -> 010-876523423 1451914706880
  39. ##################################

6，hbase和mapreduce

1，代码实现

  1. package hbase.learn.com;
  3. import java.io.IOException;
  5. import org.apache.hadoop.conf.Configuration;
  6. import org.apache.hadoop.conf.Configured;
  7. import org.apache.hadoop.hbase.Cell;
  8. import org.apache.hadoop.hbase.CellUtil;
  9. import org.apache.hadoop.hbase.HBaseConfiguration;
  10. import org.apache.hadoop.hbase.client.Put;
  11. import org.apache.hadoop.hbase.client.Result;
  12. import org.apache.hadoop.hbase.client.Scan;
  13. import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
  14. import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
  15. import org.apache.hadoop.hbase.mapreduce.TableMapper;
  16. import org.apache.hadoop.hbase.mapreduce.TableReducer;
  17. import org.apache.hadoop.hbase.util.Bytes;
  18. import org.apache.hadoop.io.Text;
  19. import org.apache.hadoop.mapreduce.Job;
  20. import org.apache.hadoop.util.Tool;
  21. import org.apache.hadoop.util.ToolRunner;
  23. public class User2BasicMapReduce extends Configured implements Tool {
  25.     // step 1 : Mapper
  26.     /**
  27.      * Mapper<ImmutableBytesWritable, Result, KEYOUT, VALUEOUT>
  28.      */
  29.     public static class ReadUserMapper extends //
  30.             TableMapper<Text, Put> {
  32.         private Text mapOutputKey = new Text();
  34.         @Override
  35.         protected void map(ImmutableBytesWritable key, Result value, Context context)
  36.                 throws IOException, InterruptedException {
  37.             // get rowkey
  38.             String rowkey = Bytes.toString(key.get());
  39.             // set map output key
  40.             mapOutputKey.set(rowkey);
  42.             // ==============================================================
  43.             // create Put
  44.             Put put = new Put(key.get());
  45.             // iterator
  46.             for (Cell cell : value.rawCells()) {
  47.                 // add family : info
  48.                 if ("info".equals(Bytes.toString(CellUtil.cloneFamily(cell)))) {
  49.                     // add column : name
  50.                     if ("name".equals(Bytes.toString(CellUtil.cloneQualifier(cell)))) {
  51.                         put.add(cell);
  52.                     }
  53.                     // add column : age
  54.                     else if ("age".equals(Bytes.toString(CellUtil.cloneQualifier(cell)))) {
  55.                         put.add(cell);
  56.                     }
  57.                 }
  58.             }
  60.             // context write
  61.             context.write(mapOutputKey, put);
  62.         }
  64.     }
  66.     // step 2: Reducer
  67.     /**
  68.      * Reducer<KEYIN, VALUEIN, KEYOUT, Mutation>
  69.      */
  70.     public static class WriteBasicReducer extends //
  71.             TableReducer<Text, Put, ImmutableBytesWritable> {
  73.         @Override
  74.         protected void reduce(Text key, Iterable<Put> values, Context context)
  75.                 throws IOException, InterruptedException {
  76.             for(Put put : values){
  77.                 context.write(null, put);
  78.             }
  79.         }
  81.     }
  83.     // step 3: Driver
  84.     public int run(String[] args) throws Exception {
  85.         // 1) configuration
  86.         Configuration conf = this.getConf();
  88.         // 2) create job
  89.         Job job = Job.getInstance(conf, //
  90.                 this.getClass().getSimpleName());
  92.         job.setJarByClass(User2BasicMapReduce.class); // class that contains
  93.                                                         // mapper and reducer
  95.         // 3) set job
  97.         Scan scan = new Scan();
  98.         scan.setCaching(500); // 1 is the default in Scan, which will be bad for
  99.                                 // MapReduce jobs
  100.         scan.setCacheBlocks(false); // don't set to true for MR jobs
  101.         // set other scan attrs
  103.         TableMapReduceUtil.initTableMapperJob(//
  104.                 "user", // input table
  105.                 scan, // Scan instance to control CF and attribute selection
  106.                 ReadUserMapper.class, // mapper class
  107.                 Text.class, // mapper output key
  108.                 Put.class, // mapper output value
  109.                 job //
  110.         );
  112.         TableMapReduceUtil.initTableReducerJob(//
  113.                 "basic", // output table
  114.                 WriteBasicReducer.class, // reducer class
  115.                 job //
  116.         );
  118.         job.setNumReduceTasks(1); // at least one, adjust as required
  120.         boolean b = job.waitForCompletion(true);
  121.         if (!b) {
  122.             throw new IOException("error with job!");
  123.         }
  125.         return b ? 0 : 1;
  126.     }
  128.     public static void main(String[] args) throws Exception {
  130.         // get configuration
  131.         Configuration configuration = HBaseConfiguration.create();
  133.         // run job
  134.         int status = ToolRunner.run(//
  135.                 configuration, //
  136.                 new User2BasicMapReduce(), //
  137.                 args //
  138.         );
  140.         // exit program
  141.         System.exit(status);
  143.     }
  145. }

2，导出jar包并运行

  1. export HBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2
  2. export HADOOP_HOME=/opt/modules/hadoop-2.5.0
  3. HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` $HADOOP_HOME/bin/yarn jar /opt/tools/User2BasicMapReduce.jar

执行成功后
导出成功后.png-19.9kB

3，出现的错误及解决方法

经追查源码查到在Put时，虽然实例化了正确的Put，但是Put中没有KeyValue值，表现出来的状况就是在Put的familyMap中没有任何的值，根本原因还是数据有问题，但从此问题中可以看到，如果一个Put中没有任何的value那么是不会被放入HBase中的。当然这可能也和HBase存储数据的方式有关，在RDBMS中我们可以存储类似“id01,null,null”的数据，但在HBase中，值为空的数据是不会被存储的。put使用的时候，假如为空就会报如下错误。
因为数据中不存在age列。

  2. ^C16/01/04 23:38:19 INFO mapreduce.Job: Task Id : attempt_1451912421695_0002_r_000000_2, Status : FAILED
  3. Error: java.lang.IllegalArgumentException: No columns to insert
  4.         at org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1304)
  5.         at org.apache.hadoop.hbase.client.HTable.doPut(HTable.java:941)
  6.         at org.apache.hadoop.hbase.client.HTable.put(HTable.java:908)
  7.         at org.apache.hadoop.hbase.mapreduce.TableOutputFormat$TableRecordWriter.write(TableOutputFormat.java:126)
  8.         at org.apache.hadoop.hbase.mapreduce.TableOutputFormat$TableRecordWriter.write(TableOutputFormat.java:87)
  9.         at org.apache.hadoop.mapred.ReduceTask$NewTrackingRecordWriter.write(ReduceTask.java:558)
  10.         at org.apache.hadoop.mapreduce.task.TaskInputOutputContextImpl.write(TaskInputOutputContextImpl.java:89)
  11.         at org.apache.hadoop.mapreduce.lib.reduce.WrappedReducer$Context.write(WrappedReducer.java:105)
  12.         at hbase.learn.com.User2BasicMapReduce$WriteBasicReducer.reduce(User2BasicMapReduce.java:77)
  13.         at hbase.learn.com.User2BasicMapReduce$WriteBasicReducer.reduce(User2BasicMapReduce.java:1)
  14.         at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:171)
  15.         at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:627)
  16.         at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:389)
  17.         at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
  18.         at java.security.AccessController.doPrivileged(Native Method)
  19.         at javax.security.auth.Subject.doAs(Subject.java:415)
  20.         at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
  21.         at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)

7，importtsv导入数据

1，创建表student

  1. create 'student','info'

2，创建目录并上传数据

  1. /opt/modules/hadoop-2.5.0/bin/hdfs dfs -put /opt/datas/importtsv.tsv /user/hadoop/hbase/importtsv/input

3，创建importtsv.sh脚本

  1. #!/bin/sh
  2. export HBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2
  3. export HADOOP_HOME=/opt/modules/hadoop-2.5.0
  4. HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` \
  5. $HADOOP_HOME/bin/yarn jar \
  6. $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar \
  7. importtsv \
  8. -Dimporttsv.columns=HBASE_ROW_KEY,\
  9. info:name,info:age,info:sex,info:address,info:phone \
  10. student \
  11. hdfs://miaodonghua1.host:8020/user/hadoop/hbase/importtsv/input

4，执行脚本

  1. ./importtsv.sh

执行成功后
命令执行成功.png-52.1kB
数据上传成功.png-45.1kB

8，completebulkload导入数据

1，创建hfile-importtsv.sh脚本

输入如下内容

  1. #/bin/sh
  2. export HBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2
  3. export HADOOP_HOME=/opt/modules/hadoop-2.5.0
  4. HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` \
  5. $HADOOP_HOME/bin/yarn jar \
  6. $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar \
  7. importtsv \
  8. -Dimporttsv.columns=HBASE_ROW_KEY,\
  9. info:name,info:age,info:sex,info:address,info:phone \
  10. -Dimporttsv.bulk.output=hdfs://miaodonghua1.host:8020/user/hadoop/hbase/importtsv/hfileoutput \
  11. student \
  12. hdfs://miaodonghua1.host:8020/user/hadoop/hbase/importtsv/input

2，执行脚本生成HFile文件

  1. ./hfile-importtsv.sh

执行成功后
HFile成功生成.png-55.3kB

3，HFile数据导入到hbase

  1.  HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` $HADOOP_HOME/bin/yarn jar \ $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar \ completebulkload \ /user/hadoop/hbase/importtsv/hfileoutput/ student

HFile数据导入成功.png-50.7kB

9，指定导入数据分割方式

1，创建csv-hfile-importtsv.sh

  1. #/bin/sh
  2. export HBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2
  3. export HADOOP_HOME=/opt/modules/hadoop-2.5.0
  4. HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` \
  5. $HADOOP_HOME/bin/yarn jar \
  6. $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar \
  7. importtsv \
  8. -Dimporttsv.columns=HBASE_ROW_KEY,\
  9. info:name,info:age,info:sex,info:address,info:phone \
  10. -Dimporttsv.bulk.output=hdfs://miaodonghua1.host:8020/user/hadoop/hbase/importtsv/csvhfileoutput \
  11. -Dimporttsv.separator=, \
  12. student \
  13. hdfs://miaodonghua1.host:8020/user/hadoop/hbase/importtsv/input

2，执行脚本

  1. ./csv-hfile-importtsv.sh

hfile数据生成成功
CSVHFile生成.png-49.7kB

3，导入数据到hbase

  1. HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` $HADOOP_HOME/bin/yarn jar \ $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar \
  2. completebulkload \
  3. /user/hadoop/hbase/importtsv/csvhfileoutput/ student

数据导入成功
csv数据加载成功.png-47kB

添加新批注
在作者公开此批注前，只有你和作者可见。
回复批注