Hadoop高级开发实战-大会培训

Hadoop高级开发实战-大会培训

(0人)

免费

课程介绍

开源力量课程 -  Hadoop高级开发实战


课程背景

  • 大数据处理对于未来的IT开发人员而言,已经成为一项必备的技能,但是要用好大数据,除了工具本身之外,还包括运维、优化、分布式等方面的知识,形成了全新的挑战,其中对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具,首选的是Hadoop平台。Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。

课程系列

  • 2015年中国Hadoop技术峰会(China Hadoop Summit 2015)北京站,汇聚Hadoop技术与大数据业界的资深技术、行业领袖,典型行业用户,企业技术和业务专家,国际知名厂商咨询专家和产业链代表,共同以Hadoop和Spark等技术为基础,探讨使用技术和工具来收集、清理、存储、管理分析、展现实时数据及海量数据;交流大数据技术、工具和行业发展趋势,从运营商、金融、互联网、电子商务、政府、交通、物流、能源、医疗、零售等行业,分享成功案例和实践经验.

课程大纲

  • Part 01 HDFS分布式存储系统
    1. HDFS架构和原理
    1. NameNode
    3. DateNode
    4. JournalNode
    5. Name的HA
    6. HDFS的s?n?a?p?s?h?o?ts的功能
    7. HDFS的ACLS功能介绍

  • Part 02 MapReduce分布式计算
    1. MapReduce架构和原理
    2. JobTracker功能
    3. tasktracker功能
    4. 自定义InputFormat实战
    5. 自定义InputSplit实战
    6. 自定义RecordReader实战
    7. mapreduce的任务管理和资源调度
    8. Yarn的资源管理平台
    9. MapReduce案例实战

  • Part03 案例实战
    1. 自定义Partitioner案例
    2. 实现在内存随机生成100个数,分成两个Map来比较大小
    3. 自定义inputFormat和InputSplit和RecorderReader来实现MapReduce读取Redis里面的数据。
    4. MapReduce加密解密
    5. MapReduce索引倒排

本期嘉宾


    本期嘉宾:刘刚
  • 就职于高德地图,资深Hadoop技术专家
  • 对HDFS、MapReduce、HBase、Hive、Mahout、Storm等Hadoop生态系统中的技术都有比较深入的研究,在Hadoop开发和运维方面积累了丰富的经验。开源框架EasyHDFSWeb和EasyHDFSControl的作者。曾就职于国内最大CDN厂商蓝汛,担任Hadoop高级工程师开。

互动平台

  • ↓↓↓ 扫开源力量微信二维码并关注,不会遗漏开源力量每周免费公开课及最新课程信息


更多常见问题:请点击我~

授课老师

资深Hadoop技术专家

学员动态

QQ客服: 810476411

QQ咨询: 810476411

QQ吐槽: 810476411

服务时间: 9:00 - 21:00

刘老师: 18516031455

微信公众号:开源力量