Hadoop源码解析与开发实战

(1人)

245.00 元 5 折

全场5折优惠,咨询QQ810476411

课程介绍

开源力量课程 -   Hadoop源码解析与开发实战


课程背景

  • Hadoop系列大数据课程在开源力量已经运行了快1年了,通过这段时间的课程运行,我们积累了不少经验。现在隆重推出新版“大数据从入门到精通课程”。大数据课程由贾老师和王老师采用线上联合授课的方式,贾老师负责讲授Hive的内容,王老师讲授Hbase的内容,两位老师身处不同的公司,行业背景完全不同,但是在大数据领域都有着自己不同的研究侧重点与项目经验。王老师还会负责hadoop课程的授课,贾老师将承担后期的Spark,mahout,sqoop,storm部分。所以说,通过本课程一门课程的学习,不仅可以学习到大数据领域中Hadoop、hive、hbase,spark,storm,mahout、sqoop等在不同技术与行业应用,同时也可以了解两位老师所处的不同行业在大数据开发与应用方面的实战经验。

课程学习法

    六维学习法

    • 视频滚动学习,终身有效
    • 老师指导实战练习辅导
    • 24小时讨论区回答
    • 每周视频坐班直播互动答疑
    • 开源力量结业考试
    • QQ同学会交流

课程系列

  • 整套课程从hadoop入门开始,由浅入深,内置“hadoop源码解析与企业应用开发实战”,“Hive开发实战”,“Hbase开发实战”,“Spark,mahout,sqoop,storm诸模块开发实战”。因为这个课程有4个板块组成,所以学员可以按照自己的实际情况选择学习。例如,对于只需要了解hadoop基本编程的人,只需要选择“hadoop源码解析与企业应用开发实战”模块就可以了;对于立志于从事大数据领域的零起点人员,可以选择四个板块依次学习;对于已经有一定基础的hadoop开发人员,你可以根据自己的情况,选择学习模块,而不必4个板块从头开始学。

课程特点

  • 特点1:真正做到从0开始,从入门到精通
    特点2:适合不同基础的学员学习
    特点3:阶梯式课程,每个阶段都有明确的主题和目标

基础技能

  • 有linux操作一般知识(本课程hadoop在linux下跑)
    有Java基础(因为hadoop是java写的并且编程也要用java语言)

课程大纲

  • 第一部分内容:

    I. Hadoop的起源与生态系统介绍。要点:
    了解什么是大数据;
    Google的三篇论文;
    围绕Hadoop形成的一系列的生态系统;
    各个子项目简要介绍

    II. Hadoop集群配置与搭建。要点:
    Hadoop安装与部署;
    如何写配置文件;
    运行简单的wordcount程序;
    Hadoop程序结构介绍 实战:
    Hadoop系统的安装与部署;
    编写配置文件;
    编写运行简单的wordcount程序。
    预期收获:
    了解什么是大数据以及大数据和hadoop的关系;
    了解hadoop本身;
    学会Hadoop系统的安装和部署;
    学会配置hadoop系统;
    学会编写简单的wordcount程序;

    第二部分内容:

    III. Common组件和HDFS组件原理及体系结构介绍。要点:
    Hadoop IO机制;
    序列化;
    压缩;
    RPC;
    HDFS副本机制;
    HDFS读写机制;
    块选择策略;
    预期收获:
    掌握common组件和HDFS组件;
    了解Hadoop的IO机制;
    第三部分内容:

    IV. MapReduce2.0组件原理及体系架构介绍。要点:
    MapReduce工作原理;
    类型与格式;
    JT内部实现;
    TT内部实现;
    Task运行过程分析;

    V. MapReduce2.0编程实战。要点:
    Pipes编程;
    Streaming编程;
    动手编写MapReduce程序;
    实战:
    MapReduce2.0编程(Pipes,Streaming);
    编写MapReduce程序;
    预期收获:
    彻底掌握MapReduce这个关键模块;
    第四部分内容:

    VI. Hadoop集群管理与安全机制分析。要点:
    Hadoop集群管理机制;
    Hadoop现有安全机制

    VII. YARN及ResourcManager组件。要点:
    YARN/MRv2环境搭建与部署;
    ResourceManager组件的分析与实战;
    实战:
    动手搭建YARN环境
    预期收获:
    掌握Hadoop的集群管理机制;
    了解Hadoop现有的安全机制;
    掌握YARN和ResourceManager组件。

本期嘉宾


    本期嘉宾:LouisT
  • IBM Hadoop架构师
  • 目前就职于IBM公司,主要从事对Hadoop生态系统的移植,以及其性能优化工作。熟悉HDFS架构以及Mapreduce原理和相关编程;曾经改进了HDFS数据块动态复制策略,利用系统特性提高native I/O速度,使hadoop支持高吞吐率和高并发性。同时提高了Mapreduce的容错能力,支持多任务的抢占和高并发。

互动平台

  • ↓↓↓ 扫开源力量微信二维码并关注,不会遗漏开源力量每周免费公开课及最新课程信息


更多常见问题:请点击我~

课时列表

授课老师

IBM Hadoop架构师

学员动态

QQ客服: 810476411

QQ咨询: 810476411

QQ吐槽: 810476411

服务时间: 9:00 - 21:00

刘老师: 18516031455

微信公众号:开源力量