和不同类型（Put/Delete）有可能会分布在不同的 HFile 中，因此查询时需要遍历所有的 HFile。

为了减少 HFile 的个数，以及清理掉过期和删除的数据，会进行 StoreFile Compaction。

Compaction 分为两种，分别是 Minor Compaction 和 Major Compaction。Minor Compaction

会将临近的若干个较小的 HFile 合并成一个较大的 HFile，但不会清理过期和删除的数据。

Major Compaction 会将一个 Store 下的所有的 HFile 合并成一个大 HFile，并且会清理掉过期

和删除的数据。

5. Region split

        默认情况下，每个 Table 起初只有一个 Region，随着数据的不断写入，Region 会自动进

行拆分。刚拆分时，两个子 Region 都位于当前的 Region Server，但处于负载均衡的考虑，

HMaster 有可能会将某个 Region 转移给其他的 Region Server。

Region Split 时机：

        当 1 个 region 中 的 某 个 Store 下所有 StoreFile 的 总 大 小 超 过 Min(R^2 *

"hbase.hregion.memstore.flush.size",hbase.hregion.max.filesize")，该 Region 就会进行拆分，其 中 R 为当前 Region Server 中属于该 Table 的个数，如下图所示。

HBase 基础使用

常用的的基本命令行操作包括：put、get、scan，delete这四种为表级别增、删、改、查操作，其中：

put：新增，如果目标数据存在且时间戳大于等于插入时时间戳，也为修改操作；

get、scan：查询操作，一种为指定rowkey获取单条数据，一种为rowkey范围扫描获取一批数据；

delete ：删除一条数据；

以下几种为表级别DDL：create、disable、enable、drop、truncate、desc、alter等，其中：

create：创建一张表，需注意的是，建表时无需指定字段类型，但必须指定列族名称；

disable：在删除表时，需使用该命令事先将表停用；

enable ： 与disable相反，将表上线；

drop ： 删除表；

truncate：将表清空，如果预先对表预分区，请谨慎使用该命令，该命令为删除后重建，事先预分区的信息会丢失；

desc ： 查看表信息，如使用什么压缩算法、记录版本数量等；

alter ： 修改表信息，如将原先表snappy压缩算法修改为gzip等。

具体相关命令细节，可登录hbase shell 中使用help ‘命令’查看。

HBase样例代码

1.创建Configuration

private static void init() throws IOException {
    //创建配置
    conf = HBaseConfiguration.create();
    //windows操作系统
    //String userdir = TestMain.class.getClassLoader().getResource("conf").getPath() + File.separator;[1]
    //linux操作系统
    //String userdir = System.getProperty("user.dir") + File.separator + "conf" + File.separator;
    conf.addResource(new Path(userdir + "core-site.xml"), false);
    conf.addResource(new Path(userdir + "hdfs-site.xml"), false);
    conf.addResource(new Path(userdir + "hbase-site.xml"), false);
}

首先创建配置对象，通过类加载器将配置文件读取，并添加资源到配置对象中。

2.创建Connection

prublic Connection HBaseConn(Configuration conf){
	TableName tableName = TableName.valueOf("hbase_table_name");
	Connection conn = ConnectionFactory.createConnection(conf);
}

通过传入配置对象，获取HBase表名称，获取HBase的连接对象。

3.创建表

public void CreateTable(TableName tableName) {
	//指定表描述符
	TableDescriptorBuilder tdb = TableDescriptorBuilder.newBuilder(tableName);（1）
	//设置列族信息
	ColumnFamilyDescriptorBuilder cdb = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("列族名"));
	// 设置HBase数据编码格式, HBase支持DIFF,FAST_DIFF,PREFIX三种
	cdb.setDataBlockEncoding(DataBlockEncoding.FAST_DIFF);
	//设置压缩格式,HBase支持gzip和snappy两种
	cdb.setCompressionType(Compression.Algorithm.SNAPPY);
	tdb.setColumnFamily(cdb.build());
	Admin admin = null; 
	try {
	admin = conn.getAdmin();
	if (!admin.tableExists(tableName)) {
		admin.createTable(tdb.build());
	} else {
		LOG.warn("表已经存在");
	}
	} catch (IOException e) {
		LOG.error("创建表失败" ,e);
	} finally {
	if (admin != null) {
		try {
		//关闭admin资源
		admin.close();
		} catch (IOException e) {
		LOG.error("关闭admin失败" ,e);
		}
	}
	}
}     

大致流程如下：

1.创建表描述符；2.创建列族描述符；3.添加列族描述符到表描述符中；4.获取Admin对象，Admin提供了建表、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能；5.调用Admin的建表方法；6.关闭admin资源。

备注：

//设置编码算法，HBase提供了DIFF，FAST_DIFF，PREFIX三种编码算法 
cdb.setDataBlockEncoding(DataBlockEncoding.FAST_DIFF); 
//设置文件压缩方式，HBase默认提供了GZ和SNAPPY两种压缩算法 
//其中GZ的压缩率高，但压缩和解压性能低，适用于冷数据 
//SNAPPY压缩率低，但压缩解压性能高，适用于热数据 
//建议默认开启SNAPPY压缩 
cdb.setCompressionType(Compression.Algorithm.SNAPPY);

4.删除表

public void dropTable(TableName tableName) {
	Admin admin = null;
	try {
		admin = conn.getAdmin();
		if (admin.tableExists(tableName)) {
			//第一步现将表下线
			admin.disableTable(tableName);
			//第二步删除
			admin.deleteTable(tableName);
		}
		LOG.info("删除成功");
	} catch (IOException e) {
		LOG.error("删除失败" ,e);
	} finally {
		if (admin != null) {
			try {
			//关闭admin资源
			admin.close();
			} catch (IOException e) {
			LOG.error("关闭失败" ,e);
			}
		}
	}
}

5.插入数据

public static void addRowData(String tableName, String rowKey, String columnFamily, String column, String value) throws IOException{
	HTable hTable = new HTable(conf, tableName);
	Put put = new Put(Bytes.toBytes(rowKey));
	put.add(Bytes.toBytes(columnFamily), Bytes.toBytes(column), 
	Bytes.toBytes(value));
	hTable.put(put);
	hTable.close();
}

大致流程如下：

1.创建HTable对象；2.构建Put对象；3.向Put对象中封装数据；4.调用put方法插入数据；5.关闭资源。

6.删除数据

public static void deleteMultiRow(String tableName, String... rows) throws IOException{
	HTable hTable = new HTable(conf, tableName);
	List<Delete> deleteList = new ArrayList<Delete>();
	for(String row : rows){
		Delete delete = new Delete(Bytes.toBytes(row));
		deleteList.add(delete);
	}
	hTable.delete(deleteList);
	hTable.close();
}

大致流程如下：

1.创建HTable对象；2.构建Delete 集合对象；3.向Delete集合对象中封装Delete对象并封装数据；4.调用delete方法插入数据；5.关闭资源。

7.使用Get读取数据

public static void getRow(String tableName, String rowKey) throws IOException{
	HTable table = new HTable(conf, tableName);
	Get get = new Get(Bytes.toBytes(rowKey));
	Result result = table.get(get);
	for(Cell cell : result.rawCells()){
		System.out.println(" 行 键 :" +Bytes.toString(result.getRow()));
		System.out.println(" 列 族 " + Bytes.toString(CellUtil.cloneFamily(cell)));
		System.out.println(" 列 :" + Bytes.toString(CellUtil.cloneQualifier(cell)));
		System.out.println(" 值 :" + Bytes.toString(CellUtil.cloneValue(cell)));
		System.out.println("时间戳:" + cell.getTimestamp());
	}
    table.close();
}

大致流程如下：

1.创建HTable对象；2.根据rowkey构建Get对象；3.获取get返回结果；4.遍历结果并打印；5.关闭资源。

8.使用Scan读取数据

public static void getAllRows(String tableName) throws IOException{
	HTable hTable = new HTable(conf, tableName);
	Scan scan = new Scan();
	ResultScanner resultScanner = hTable.getScanner(scan);
	for(Result result : resultScanner){
	Cell[] cells = result.rawCells();
	for(Cell cell : cells){
		System.out.println(" 行 键 :" +	Bytes.toString(CellUtil.cloneRow(cell)));
		System.out.println(" 列 族 " + Bytes.toString(CellUtil.cloneFamily(cell)));
		System.out.println(" 列 :" + Bytes.toString(CellUtil.cloneQualifier(cell)));
		System.out.println(" 值 :" + Bytes.toString(CellUtil.cloneValue(cell)));
		}
	}
}

大致流程如下：

1.创建HTable对象；2.根据rowkey范围构建Scan对象；3.获取scan返回结果；4.遍历结果并打印；5.关闭资源。

9.HBase对接Hive

CREATE EXTERNAL TABLE hive_external_table_name(
rowkey string COMMENT '',
col1 string COMMENT '',
col2 string COMMENT '',
col3 string COMMENT '',
col4 string COMMENT '',
col5 string COMMENT '')
ROW FORMAT SERDE
'org.apache.hadoop.hive.hbase.HBaseSerDe'
STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
'hbase.columns.mapping'=':key,cf1:col1,cf1:col2,cf1:col3,cf1:col4,cf1:col5',  
'serialization.format'='1')
TBLPROPERTIES (
'hbase.mapred.output.outputtable'='HBase_namespace:HBase_table_name','hbase.table.name'='HBase_namespace:HBase_table_name');

HBase与Hive的映射是通过Hive的HBaseStorageHandler组件实现的，它充当了Hive和HBase之间的桥梁，使Hive能够将HBase表映射为Hive外部表，从而通过SQL语句操作HBase数据。（需要注意的是：现版本通过hive创建HBase映射表还无法获取HBase表中每个字段的时间戳，但可以获取最大的时间戳作为HQL条件查询。通过Hive映射表写入HBase时，时间戳会根据系统时间生成，如果HBase中timestamp值取值为业务时间，那么在后续数据重新入库时将收到影响，导致数据无法写入的风险）

HBase数据迁移

1.原始数据表进行快照 : snapshot 'hbase_src_tablename','hbase_src_tablename_snapshot'
2.将表快照进行迁移 ：linux 
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-Dsnapshot.export.skip.tmp=true \
-snapshot hbase_src_table_name_backup_snapshot \				--将要迁移的快照和快照那一时刻表的数据
-copy-from hdfs://源集群NN IP:port/hbase \					--从哪个hdfs集群(旧)
-copy-to hdfs://目的集群NN IP:port/hbase \					--到哪个hdfs集群(新)
-mappers 16 \										--mapper的个数
-bandwidth 20										--带宽
3.对迁移过来的表快照恢复:clone_snapshot 'hbase_src_tablename_snapshot','hbase_des_tablename'
4.major_compact 'hbase_des_tablename'

备注：
1.创建一个快照后，对应hdfs /hbase/.hbase-snapshot目录下会记录一个快照名的目录，里面有一个文件记录打快照的那张表下打快照那一刻起所有的storefile；
2.将快照恢复到另外一张新表后，在没有执行major_conpact命令之前，这张新表中storefile所存储的是一个引用，例如：	原始表=A（region名）-B（storefile名）；如果基表不删除，在合并过后，可以通过从archive目录：原始表=A（region名）-B（storefile名）进行查看。
3.在原始表（也就是创建快照的基表）进行合并的时候，如果storefile还存在引用，那么不会直接删除，而是将数据保存到hdfs路径下的archive；

特别说明：使用HBase snapshot的方式做数据迁移时，一定要核对表是否完全合并完成（HBase表目录下所有StoreFile中没有不规则的命名方式“原始表=A（region名）-B（storefile名）”）。只有在完全合并完成后，才意味着所有链接文件的数据已经合并到表目录下，这时才可以将快照进行删除，不然会导致Region处于RIT状态，导致丢数据的风险。