Spark实战开发

(0人)

249.50 元 5 折

全场5折优惠,咨询QQ810476411

课程介绍

开源力量课程 -   Spark实战开发

 

课程概述

  • 本课程内容主要包括Spark生态系统、Spark架构、Spark执行原理的概述,实际动手搭建Spark集群,同时学习Spark实时计算、Spark Streaming流式计算的多语言编程,最后学习Spark SQL、基于Spark的机器学习、图计算等相关内容。

课程背景

  • Hadoop在大数据领域应经证明了其存在的价值,在超大数据量时,Hadoop有着较高的优势。
    但是在普通数据量实时计算上面还是差很多,因为Hadoop的设计导致数据计算具有较高的延迟,所以无法满足实时数据需求,而单机计算更没有办法满足,由此诞生了Spark,基于内存的分布式实时计算框架,在某些数据量情况下,Spark的计算性能超Hadoop百倍,而算法实现仅有其1/10,甚至更少,所有Spark未来会成为大数据领域一颗耀眼的明星!

课程学习法

 

六维学习法

    • 视频滚动学习,终身有效
    • 老师指导实战练习辅导
    • 24小时讨论区回答
    • 每周视频坐班直播互动答疑
    • 开源力量结业考试
    • QQ同学会交流 咨询QQ: 810476411客服QQ

课程目标

  • 本课程面向初学Spark的学员,带领大家进入一个新的大数据领域

所需技能

  • Java、Python、Scala编程语言至少熟悉一门

课程大纲

  • 第一周 Spark生态系统概述
    1.Spark生态系统概述
    2.BDAS
    3.Spark运行模式
    4.Spark核心内容
    (1)RDD
    (2)transformation
    (3)action
    5.lineage
    6.容错处理
    7.宽依赖与窄依赖
     
  • 第二周 Spark运行、开发环境搭建
    1.Hadoop2.x安装
    2.spark源码编译
    3.spark安装及测试
    4.Spark on YARN
    5.开发环境搭建
     
  • 第三周 spark 编程
    1.常用RDD
    2.常用transformation
    3.常用action
    4.Scala、Python、Java多种语言编程实践
     
  • 第四周 Spark Streaming概述及实践
    1.DStream
    2.数据源
    3.transformation on DStreams
    4.checkpoint
    5.容错
    6.编程实践
    7.性能优化

本期嘉宾


本期嘉宾:贾杰
  • Hadoop工程师
  • 目前就职于国内第一大网络视频公司,主要从事大数据分析工作,有多年工作经验与hadoop实战经验。对Hadoop及其相关技术有较深入的研究,参与多个分布式云计算项目的研究和实施,对hive有着丰富的实践经验,对于数据挖掘和推荐系统也有深刻的认识。

互动平台

  • ↓↓↓ 扫开源力量微信二维码并关注,不会遗漏开源力量每周免费公开课及最新课程信息

 

更多常见问题:请点击我~

授课老师

Hadoop工程师

学员动态

陈小康 开始学习课时 1.Spark Streami...
登山 开始学习课时 2.spark之transfo...
登山 学完了课时 1.Spark Streami...
登山 开始学习课时 1.Spark Streami...
登山 开始学习课时 4.RDD之action学习

QQ客服: 810476411

QQ咨询: 810476411

QQ吐槽: 810476411

服务时间: 9:00 - 21:00

刘老师: 18516031455

微信公众号:开源力量