大数据实时计算系统实践视频教程(价值499)
资源目录:
第一课: Flink基本概念与部署
1. Flink 简介
2. 编程模型
3. 运行时概念
4. 应用部署与原理
a. 部署模式
b. On-Yarn 启动设置与原理
c. Job 启动设置与原理
第二课: DataStream
1. DataStreamContext环境
2. 数据源(DataSource)
3. 转化(Transformation)
4. 数据Sink
第三课:Window & Time
1. Window介绍
a. 为什么要有Window
b. Window类型
2. Window API的使用
a. Window的三大组件
b. Time&watermark
c. 时间语义
d. 乱序问题解决WaterMark
e. AllowLateness正确设置与理解
f. Sideoutput在Window中的使用
3. Window的内部实现原理
a. Window的处理流程
b. Window中的状态存储
4. 生产环境中的Window使用遇到的一些问题
第四课: Connector
1. 基本Connnector
2. 自定义Source 与 Sink
3. Kafka-connecotor
a. Kafka 简介
b. Kafka Consumer 与Sink 的正确使用方式
c. Kafka-Connector 内部机制与实现原理
第五课: 状态管理与恢复机制
1. 基本概念
2. KeyState 基本类型及用法
a. ValueState
b. ListState
c. ReduceState
d. FoldState
e. AggregatingState
3. OperatorState基本用法
4. Checkpoint
a. 概念
b. 开启checkpoint
c. 基本原理
第六课: Metrics 与监控
1. Metrics的种类
2. Metrics的获取方式
a. Web Ui
b. Rest API
c. MetricReporter
3. 用户自定义Metric指标方式
4. 监控和诊断:Metric和Druid 实时OLAP联合使用
a. Metric上报
b. Metric指标聚合
c. Metric的分类和格式定义
5. Druid查询和指标系统
a. Flink作业反压监控
b. Flink作业的延迟监控
c. 其他
6. Metric系统的内部实现
7. 生产环境中的案例分析 — 通过指标来排查应用问题
第七课: Flink应用案例介绍
1. 数据清洗:map/flatmap等
2. 监控告警系统
a. 数据拉平
b. 基础窗口计算等
3. 线上运营系统
4. 风控系统
第八课: Druid基本概念与架构设计
1. Druid与OLAP VS Kylin、ES等
2. Druid与指标系统 VS 各种时序数据库
3. Druid特性
4. 基本架构:角色节点与基本职责
a. 角色行为
b. 角色暴露的API
5. 基本架构:外部依赖
a. MySQL数据结构
b. ZK数据结构
c. HDFS数据结构
第九课: Druid数据写入与查询
1. 数据流向与存储格式
a. 数据写入流程
b. 存储与索引格式
2. 实时数据写入
a. Firehose
b. Realtime Node
c. Index-Service原理介绍
d. Tranquility原理介绍
e. Kafka-index-service原理
3. 离线数据写入
a. Indexer
b. MR Indexer
4. 查询模式与查询类型介绍
第十课: Druid实践介绍
1. 容错设计
2. 指标监控
a. 基于Graphite搭建指标监控系统
b. 重要的指标项
3. 运维实践
a. 数据修复
b. 集群升级实践
c. Segment元数据管理
d. JVM调优
c. 资源隔离
下载地址
提示:资源为百度网盘加好友分享,请根据操作获取资源。
建议:资源来源于网络公开文件,所有资料仅供学习交流,资源优质建议支持正版。
赞助:所收取费用仅用来维系网站运营,性质为用户友情赞助,并非售卖文件费用。
侵权:如分享内容侵犯了您的权益,请联系管理员邮zliao8@126.com删除处理。
知了资源网⎛⎝资源站⎠⎞ » 大数据实时计算系统实践视频教程(价值499)
建议:资源来源于网络公开文件,所有资料仅供学习交流,资源优质建议支持正版。
赞助:所收取费用仅用来维系网站运营,性质为用户友情赞助,并非售卖文件费用。
侵权:如分享内容侵犯了您的权益,请联系管理员邮zliao8@126.com删除处理。
知了资源网⎛⎝资源站⎠⎞ » 大数据实时计算系统实践视频教程(价值499)