MapReduce on Hbase使用与集成

MapReduce on Hbase使用与集成

(0人)

99.50 元 5 折

全场5折优惠,咨询QQ810476411

课程介绍

开源力量课程 -  HBase源码解析与开发实战


课程背景

  • 大数据系列课程在开源力量已经运行了快1年了,通过这段时间的课程运行,我们积累了不少经验。现在隆重推出新版“大数据从入门到精通课程”。大数据课程由贾老师和王老师采用线上联合授课的方式,贾老师负责讲授Hive的内容,王老师讲授Hbase的内容,两位老师身处不同的公司,行业背景完全不同,但是在大数据领域都有着自己不同的研究侧重点与项目经验。王老师还会负责hadoop课程的授课,贾老师将承担后期的Spark,mahout,sqoop,storm部分。所以说,通过本课程一门课程的学习,不仅可以学习到大数据领域中Hadoop、hive、hbase,spark,storm,mahout、sqoop等在不同技术与行业应用,同时也可以了解两位老师所处的不同行业在大数据开发与应用方面的实战经验。

课程学习法



    学习方式,更详细说明见这里:http://www.osforce.cn/page/onlineedu (六维学习法)


    • 视频滚动学习,终身有效
    • 老师指导实战练习辅导
    • 24小时讨论区回答
    • 每周视频坐班直播互动答疑
    • 开源力量结业考试
    • QQ同学会交流

课程特点

  • 整套课程从hadoop入门开始,由浅入深,内置“hadoop源码解析与企业应用开发实战”,“Hive开发实战”,“Hbase开发实战”,“Spark,mahout,sqoop,storm诸模块开发实战”。因为这个课程有4个板块组成,所以学员可以按照自己的实际情况选择学习。例如,对于只需要了解hadoop基本编程的人,只需要选择“hadoop源码解析与企业应用开发实战”模块就可以了;对于立志于从事大数据领域的零起点人员,可以选择四个板块依次学习;对于已经有一定基础的hadoop开发人员,你可以根据自己的情况,选择学习模块,而不必4个板块从头开始学。
    特点1:真正做到从0开始,从入门到精通
    特点2:适合不同基础的学员学习
    特点3:阶梯式课程,每个阶段都有明确的主题和目标

知识基础

  • 有Hadoop的基础知识
    有JAVA语言编程基础

课程大纲

  • 学习内容:
    • Hbase系统搭建与部署,Hbase shell操作;
    • 客户端API操作,包括put、get、delete方法以及批量处理操作与客户端缓存,HTable类与Bytes类的使用;
    • 比较过滤器、专用过滤器、附加过滤器、自定义过滤器的使用
    • 计数器的使用,协处理器(coprocessor类、regionobserver类、masterobserver类、endpoint)的使用
    • HTablePool类的使用
  • 实战:搭建Hbase集群;使用Hbase shell进行表的操作;利用Hbase API编写客户端工具操作Hbase集群
  • 收获内容:
    • 熟练掌握Hbase集群的搭建,能够利用Hbase shell对数据进行操作与查询;
    • 熟练使用客户端API,了解过滤器、计数器、协处理器以及HTablePool的使用

第二周:客户端API的管理功能、MapReduce系统集成

  • 学习内容:
    • 利用HbaseAdmin类进行Hbase表的管理,包括表、属性、列的操作;
    • MapReduce集成,编写Mapreduce程序实现对HBase表的select,多表join,聚合操作,sort等功能
  • 实战:通过利用Mapreduce实现数据的查询、聚合、连接等操作
  • 收获内容:
    • 掌握基于Hbase的Mapreduce程序编写,实现对表的操作

第三周:HBase系统架构原理

  • 主要介绍:
    • Hbase中数据的查找与传输,数据结构B+树、LSM树介绍;
    • 数据存储格式HFile格式、KeyValue格式;
    • WAL机制,HLog类、HLogKey类、WALEdit类、LogSyncer类、回放与持久性;
    • region、-root-表的查找;
    • LogEdit的生命周期与内部机制;
    • Coprocessor实现;
    • 二级索引HIndex原理
  • 实战:自定义Coprocessor的实现;HIndex的使用
  • 收获内容:
    • 了解WAL机制
    • Coprocessor的内部实现
    • 二级索引HIndex的实现原理

第四周:HBase高级用法

  • 主要介绍:
    • Hbase表的行键设计,高表与宽表、部分键扫描、分页、时间序列、时间顺序关系;
    • 高级模式;
    • 辅助索引;
    • 搜索集成;
    • 事务;
    • BloomFilter布隆过滤器;
    • 隐式版本控制与自定义版本控制
  • 实战:Hbase表的行健设计
  • 收获内容:
    • Hbase的高级用法,Hbase行健设计的一般方法与各自的特点

第五周:HBase系统集成与案例实战

  • 主要介绍:
    • 利用hbase、Solr和Solr-IndexBuilder,设计与实现一个在线Hbase数据存储与实时查询系统,构建基于Hbase的SQL查询系统
  • 实战:设计与开发一套数据存储与实时查询系统
  • 收获内容:
    • 从系统设计、开发、集成的角度,掌握Hbase的各项操作与性能优化方案,构建自己的实时查询系统

本期嘉宾


    本期嘉宾:LouisT
  • IBM Hadoop架构师
  • 目前就职于IBM公司,主要从事对Hadoop生态系统的移植,以及其性能优化工作。熟悉HDFS架构以及Mapreduce原理和相关编程;曾经改进了HDFS数据块动态复制策略,利用系统特性提高native I/O速度,使hadoop支持高吞吐率和高并发性。同时提高了Mapreduce的容错能力,支持多任务的抢占和高并发。

互动平台

  • ↓↓↓ 扫开源力量微信二维码并关注,不会遗漏开源力量每周免费公开课及最新课程信息


更多常见问题:请点击我~

授课老师

IBM Hadoop架构师

学员动态

xiyi 加入课程 MapReduce on Hb...
BarryYu 学完了课时 MapReduce on Hb...
BarryYu 开始学习课时 MapReduce on Hb...

QQ客服: 810476411

QQ咨询: 810476411

QQ吐槽: 810476411

服务时间: 9:00 - 21:00

刘老师: 18516031455

微信公众号:开源力量