Hadoop大规模集群搭建与运维-大会培训

Hadoop大规模集群搭建与运维-大会培训

(3人)

免费

课程介绍

开源力量课程 -  Hadoop大规模集群搭建与运维


课程背景

  • 大数据处理对于未来的IT开发人员而言,已经成为一项必备的技能,但是要用好大数据,除了工具本身之外,还包括运维、优化、分布式等方面的知识,形成了全新的挑战,其中对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具,首选的是Hadoop平台。Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。

课程系列

  • 2015年中国Hadoop技术峰会(China Hadoop Summit 2015)北京站,汇聚Hadoop技术与大数据业界的资深技术、行业领袖,典型行业用户,企业技术和业务专家,国际知名厂商咨询专家和产业链代表,共同以Hadoop和Spark等技术为基础,探讨使用技术和工具来收集、清理、存储、管理分析、展现实时数据及海量数据;交流大数据技术、工具和行业发展趋势,从运营商、金融、互联网、电子商务、政府、交通、物流、能源、医疗、零售等行业,分享成功案例和实践经验.

课程大纲

  • Part 01 Hadoop集群安装及配置
    1.单机模式
    2. 集群模式

  • Part 02 Hadoop配置讲解
    1.core-site.xml
    2.hdfs-site.xml
    3.mapred-site.xml

  • Part 03 Hadoop集群正式环境快速安装
    1.easyHadoop安装及使用
    如何用easyHadoop快速部署集群
    2.fabric介绍及使用
    如何用fabric加速部署

  • Part 04 Hadoop集群管理
    1.secondarynamenode元数据备份恢复
    2.hive元数据备份
    3.控制磁盘空间
    如何用fabric完成集群运维大规模任务部署
    4.rackware让任务不白跑
    (1)原理
    (2)如何配置rackware
    (3)如何结合easyHadoop自动配置
    5.用jmx了解集群基本情况
    (1)Hdfs
    (2)Job
    6.集群监控利器ganglia介绍
    (1)ganglia原理
    (2)配置ganglia
    (3)应用ganglia进行集群监测
    7.百台集群的运维之道
    (1)超强的脚本化管理
    (2)放大的概率
    (3)给力的部署
    (4)小动作大成效--节点自动恢复

  • Part 05 Hadoop集群调优
    1. 解决OOM之道
    (1) 如何发现OOM
    (2) 配置参数限制作业占用内存
    (3) 如何针对特殊作业打开限制
    2.Hadoop优化
    (1)Hadoop benchmark
    (2)数据块balance
    (3)选择正确的block大小
    (4)选择合适的压缩策略
    (5)如何配置tasktracker的slots

  • Part 06 Hadoop运维常见故障

本期嘉宾


    本期嘉宾:廖旻可
  • 资深大数据工程师和架构师,有10多年互联网从业经验
  • 擅长于互联网系统架构技术,大数据技术。在国内某大型视频公司任数据平台高级工程师,从事大数据平台架构及数据支持工作,负责公司上百规模大数据平台维护及优化及自动化运维工具开发。擅长于Hadoop/Hive/Pig/HBase及运维自动化工具开发。

互动平台

  • ↓↓↓ 扫开源力量微信二维码并关注,不会遗漏开源力量每周免费公开课及最新课程信息


更多常见问题:请点击我~

授课老师

资深大数据工程师和架构师

学员动态

QQ客服: 810476411

QQ咨询: 810476411

QQ吐槽: 810476411

服务时间: 9:00 - 21:00

刘老师: 18516031455

微信公众号:开源力量