2019spark纯项目实战应用教程(视频+源码+课件)

作者: admin 分类: 大数据云计算教程合集 发布时间: 2019-07-18 01:34

第一阶段:大数据spark入门介绍

第一课:大数据入门概述

知识点1: 大数据技术发展史

知识点2: 大数据的应用以及未来

知识点3: hadoop生态圈介绍

知识点4: hadoop框架演变与发展

知识点5: 大数据存储系统hdfs原理解析

知识点6: map-reduce原理解析

知识点7: 分布式资源管理yarn原理解析

实战项目: 基于yarn的mr作业开发实战

第二课:spark技术栈发展概述

知识点1: spark的前世今生

知识点2: spark1.X 技术栈概述

知识点3: spark2.4 技术栈概述

知识点4: spark3.0以及未来的展望

知识点5: spark在大公司的应用

实战项目: 运行一个spark程序

第三课:spark应用开发与API介绍

知识点1: spark 核心概念讲解

知识点2: rdd的分区与依赖

知识点3: rdd API中的transformation讲解

知识点4: rdd API中的action讲解

实战项目: 使用spark rdd进行日志数据分析

第二阶段:spark原理剖析和应用调优

第四课:spark运行模式及原理

知识点1: spark运行模式

知识点2: spark执行过程讲解

知识点3: spark rdd内部原理详解

知识点4: spark广播变量与累加器讲解

实战项目: 利用广播变量实现推荐系统中的用户信息编码

第五课:spark集群应用与优化分析

知识点1: spark web ui讲解

知识点2: spark应用监控与分析

知识点3: spark history server原理剖析

知识点4: spark metrics 监控

实战项目: spark history server搭建部署

实战项目: 从监控入手进行日志查错与优化

第六课:spark core核心讲解

知识点1: spark shuffle三种模式详解

知识点2: spark内存管理剖析

知识点3: spark应用资源管理

知识点4: spark rdd存储管理

实战项目: 重构并优化现有的spark应用

第七课:spark性能调优

知识点1: spark开发调优

知识点2: spark资源调优

知识点3: spark数据倾斜调优

知识点4: spark内存管理调优

实战项目: spark shuffle调优代码案例

第三阶段:spark即席查询与流式计算讲解

第八课:spark sql讲解

知识点1: spark sql 发展史

知识点2: spark sql 1.X 与 2.X

知识点3: spark sql 运行原理分析

知识点4: spark sql 逻辑计划原理讲解

知识点5: spark sql 物理计划原理讲解

知识点6: dataset与dataframe讲解

知识点7: spark sql 自定义注册函数udf开发

知识点8: spark thrift server讲解

实战项目: 基于spark sql 2.4.0 的王者荣耀英雄分析

第九课:流式计算简介及spark streaming

知识点1: spark streaming | storm | flink | structured streaming 全面对比

知识点2: 消息队列kafka,rocket mq实用解析

知识点3: spark streaming运行原理

知识点4: spark streaming高层抽象dstream

知识点5: structured streaming运行原理简介

实战项目: 代码实现实时日志数据读取与统计

第十课:实时计算平台(设计与实战)

知识点1: 实时大数据架构简介(kudu,druid,couchbase)

知识点2: 实时计算平台架构设计及选型方法

知识点3: 实时计算实践难点剖析,高qps及性能瓶颈分析

实战项目: 实时日志统计平台设计

第四阶段:spark图计算与机器学习高阶应用

第十一课:spark图计算讲解及mlib

知识点1: 属性图的介绍

知识点2: edge、vertex、triplet介绍与创建

知识点3: 属性图的操作

知识点4: 图算法介绍

知识点5: spark mlib介绍

实战项目: 图的调优

第十二课 推荐系统实战

知识点1: 推荐系统的场景,为什么需要推荐系统

知识点2: 推荐系统的流程简介

知识点3: 协同过滤推荐算法

知识点4: youtube推荐系统简介

实战项目: 基于spark mllib的协同过滤推荐

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

更多阅读