2019数据开发工程师之用户画像解决方案实战(视频+源码+课件)

作者: admin 分类: 大数据云计算教程合集 发布时间: 2019-02-14 07:26

课程特色:
规划全面:内容涵盖用户标签指标体系、数据分析、数据开发、ETL、搭建开发环境、kafka和hbase等常用大数据组件的介绍、画像的产品形态、打通数据服务层、以及如何应用用户标签和效果评估;

实操性强:每章案例都进行详细的分析和开发过程讲解,附有相应的分析报告、文档以及代码。通过在搭建的虚拟机环境中执行任务,帮助学习者更好地理解工程上的实现方式和实现细节

课程大纲:
第一章:用户画像基础知识
1、开发用户画像需要掌握的能力
2、实际案例-用户画像及其应用规划说明
3、实际案例-用户标签应用实施方案说明
4、实际案例-工程开发代码
5、需要开发的表及表结构设计

第二章:用户标签指标体系
1、用户属性维度指标体系
2、用户行为维度指标体系
3、用户消费维度指标体系
4、用户风控维度指标体系
5、标签口径及数据调研分析
6、标签命名方式小结

第三章: 搭建开发环境
1、搭建虚拟机开发环境及节点间互信
2、HDFS的安装及应用场景
3、zookeeper的安装及应用场景
4、yarn的安装及应用场景
5、Hbase的安装及应用场景
6、MySQL的安装及应用场景
7、sqoop的安装及应用场景
8、kafka的安装及应用场景
9、Spark的安装及应用场景

第四章:标签数据存储
1、Hive存储及应用特点
2、MySQL存储及应用特点
3、Hbase存储数据及应用特点
4、为什么用不同数据库存储标签数据

第五章:标签数据开发
1、数据仓库基础知识
2、统计类标签开发案例
3、规则类别标签开发案例
4、挖掘类别标签开发案例
5、流式计算标签开发(1)-kafka介绍
6、流式计算标签开发(2)-streaming的Receiver模式与Direct模式
7、流式计算标签开发(4)-记录消费的offset
8、流式计算标签开发(5)-Spark Streaming上线工程化

第六章:开发性能调优
1、数据倾斜调优
2、Hive合并小文件
3、使用Spark缓存(cache、persist、checkpoint)
4、开发中间表

第七章:作业流程调度
1、crontab命令调度
2、airflow调度-基础概念
3、airflow调度-安装
4、airflow调度-主要功能模块
5、airflow调度-工作流调度
6、airflow调度-工程案例
7、标签数据监控预警(Hive、MySQL、Hbase)
8、ETL异常问题排查及解决方案

第八章: 用户画像产品化
1、标签视图与标签查询
2、标签编辑管理
3、自定义查询与人群圈定
4、维透视分析功能

第九章:用户画像应用
1、业务数据分析
2、精准营销(短信、邮件)
3、推荐系统中应用

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

更多阅读