HBase开发实战

滚动学习,坐班辅导
(5人)

249.50 元 5 折

全场5折优惠,咨询QQ810476411

zk的数量,需要奇数个,需要选举的。

 

[展开全文]

ihbase

   支持的hbase版本太低,已经不更新。

ithbase

   也是多年不更新了

hindex

   0.98.4

[展开全文]

hbase二级索引

1  mapreduce方案

    indexBuilder

    只能批量,不能实时

2   ITHBASE方案

3   IHBASE方案

4   Coprocessor方案

5   solr + hbase方案

[展开全文]

集群数据迁移方案

1  静态迁移方案(需要停止hbase集群)

   hadoop distcp+addTable.rb

2  动态迁移方案

   2.1 replication备份方案

   2.2 copy table方案

   2.3 export and import 方案

3  手动方案

   hadoop fs -get

   hadoop fs -put

   hbase hback -fixMeta

   hbase hback -fixAssignment

[展开全文]

数据导入方案

1  importTsv

2  bulkload

3  hbase export/import

[展开全文]

http://hbase.apache.org/

 

http://archive-primary.cloudera.com/cdh5/cdh/5/

选社区版需注意与hadoop版本需一致,

否则会报接口不一致等错误

 

备份nn,解决nn单点故障的问题

[展开全文]

HBaseConfiguration对hbase进行配置

HBaseAdmin管理HBase数据库的表信息

HTableDescriptor列族


HConnectionManager.createConnection(conf)

[展开全文]

create创建表

put插入数据

get检索数据(取时间戳最新的一个值)

scan全表扫描,数据量大时速度慢



hbase多版本特性

get 'scores','Tom',{COLUMN=>'course:math',VERSIONS=>3}(加入版本号)

alter修改表或者列的属性


count计数


删除表

    先禁用后删除

    disable-->delete

truncate清空表数据

[展开全文]
zhyvonne · 2015-01-22 · Hbase shell操作 0

稀疏矩阵

ROOT表 记录META表中每个region的位置,ROOT表中最多只有一个region  Zookeeper中记录了ROOT表的位置

META表中记录region所在的region server,包含多个region

 


[展开全文]
丿逍遥 · 2015-01-06 · 0

基于快照的复制表:所有操作在hdfs之上,

snapshot:在线数据的一种克隆

使用场景:

[展开全文]
zhanggl · 2014-10-07 · HBase Snapshot 0

ihbase:几年没有更新了把。

solr+hbase:

将Hbase表中涉及条件过滤的字段和rowkey在solr建立索引,通过solr的多条件查询快速获得符合过滤条件的rowkey值,拿到这些rowkey之后在hbase中通过指定rowkey进行查询。


[展开全文]

二级索引:组合查询(多条件组合查询)

mapreduce: 不能实时

[展开全文]

1、第一种方案适合小量数据

2、第二种适合第一次倒入(原来数据库里面没有数据)

3、

数据的倒入涉及另一个问题:文件块大小设置多少比较合理(默认是64M,怎么调节为2-4G),数据怎么分区

[展开全文]
log4j.properties 
[展开全文]
scan 'students',{STARTROW=>'j' ENDROW=>'k'}
[展开全文]
jsh111 · 2014-09-20 · 过滤器使用 0

create 'scores','grade','course'

list

describe 'scores'

put 'scores','Tom','grade:','5'

put 'scores','Tom','course:math','97'

put 'scores','Tom','course:art','87'



put 'scores','Jim','grade','4'

put 'scores','Jim','course:engliish','80'

put 'scores','Tom','course:chinese','90'


scan 'scores'

get 'scores','Tom'

put 'scores','Tom','course:math','100'

get 'scores','Tom',{COLUMN=>'course:math',VERSIONS=>3}


count 'scores'


disable 't1'

drop 't1'


truncate 'scores'



[展开全文]
jsh111 · 2014-09-18 · Hbase shell操作 0

二级索引的问题好像解决了吧:

 extends BaseRegionServer

[展开全文]

协处理器:求和,计数,排序。

特点:

每个服务器的任意子表都可以运行代码

Observer:

callback 调用细节

RegionObserver:提供客户端的数据操纵事件钩子: get,Put,

WALObserver:提供WAL相关操作钩子

MasterObserver:提供DDL-类型操作钩子例如创建,删除修改数据表等

EndPoint:

1、hbase-site.xml

2、启用表aggregation,只对待特定标的额生效

3、调用api

[展开全文]
三种查询方式。
[展开全文]
麦子1213 · 2014-08-30 · 0

授课老师

IBM Hadoop架构师

学员动态

sanly 开始学习课时 3.实时查询回顾
sanly 开始学习课时 2.API程序编写
sanly 开始学习课时 1.SolrAPI

QQ客服: 810476411

QQ咨询: 810476411

QQ吐槽: 810476411

服务时间: 9:00 - 21:00

刘老师: 18516031455

微信公众号:开源力量