基于Flink搭建流计算平台课程
课程天数：2天
课程介绍：
本课程的大纲设置，注重的是Flink基础和核心技术的梳理和掌握，之后会对其中几个重要的技术点做深入分析。本课程特别增加了学以致用的实战环节，让企业学员能够在学习完Flink技术知识后，具备将Flink应用到实际生产环境中的能力，通过短时间的技术学习，为公司创造价值和提高技术生产的效率。
此课程共两天，第一天为Flink的基础和进阶技术知识点，以及第一个实战项目。第二天为Flink的高级技术知识点，包含了第二个实战项目。
课程收益
了解高可用、可扩展的基于事件驱动的系统架构
如何定义和实现自己的DSL语言以应对复杂事件计算表达诉求
基于Flink实时计算的原理与性能优化
了解事件处理系统人机交互设计
了解如何构建轻量级的端实时计算框架
培训对象
本课程不仅适合大数据 Hadoop, Spark，HBase 从业人员，同时也适合热爱或者希望未来从事大数据相关工作的人员，软件开发工程师，运维工程师以及架构师学习。通过本课程，学员将能够快速熟悉和掌握大数据利器，在生产中解决实际问题。
课程大纲
1、流式处理架构
流式处理背景及架构介绍
流式处理行业案例以及Flink的适用场景及应用概述
2、Flink概述
什么是Flink
Flink架构
Flink 与 Spark的比较以及为什么选择Flink
Flink开发环境配置和搭建
3、Flink编程模型
数据集类型
Flink编程接口
Flink程序结构
Flink数据类型
4、DataStream API介绍与使用
DataStream编程模型
Flink Execution 参数
Transformation
时间概念与Watermark
Windows窗口计算
作业链和资源组
Asynchronous I/O异步API
Asynchronous I/O异步原理
5、Flink Connector数据源
FlinkKafkaSource序列化、消费模式
FlinkKafkaSource容错、动态分区及topic
FlinkKafkaSink序列化、配置、分区与容错
自定义Source和Sink
6、DataSet API介绍与使用
DataSet API，Transformation
迭代计算
广播变量与分布式缓存
语义注解
DataSetUtils工具类
7、Table API & SQL介绍与使用
TableEnviroment概念
Flink Table API
Flink SQL使用
自定义函数
自定义数据源
8、两个完整的Flink实现案例：
Kafka 数据流处理，写入HDFS
多源数据关联与聚合分析
9、Flink有状态的计算、状态管理和容错
什么是有状态计算
有状态计算中的数据一致性挑战
理解state状态
Operator State 的使用及Redistribute
Keyed State的使用与Redistribute
Broadcast State的妙用
Checkpoint核心原理剖析
Checkpoint使用条件及使用步骤
Checkpoint相关配置及重启策略
Savepoint的触发、Job恢复及删除
10、实战项目1：用Flink实现一个通用、配置化的海量数据流、批处理产品。
实现配置管理
实现数据源加载
实现主流程控制
实现任务管理
11、Flink部署与应用
Flink集群部署
Flink高可用配置
Flink安全管理
Flink集群升级
Flink on Yarn的原理和运行方式
Flink on Yarn 提交任务与停止任务
12、Flink监控与性能优化
监控指标
Backpressure监控与优化
Checkpointing监控与优化
Flink内存优化
13、Flink组件栈介绍与使用
Flink复杂事件处理
Flink Gelly图计算应用
FlinkML机器学习应用
Flink Metrics 与监控
14、Flink源码学习
Flink源码编译
如何阅读和学习Flink源码
Flink源码实现思路以及依赖管理
Flink核心模块源码带读与分析
15、Flink在各大互联网公司的典型应用剖析
Flink在阿里的应用
Flink在字节跳动的应用
Flink在腾讯的应用
Flink在微博的应用
Flink在其他互联网公司的应用
Flink 最佳实践
16、实战项目2：使用Flink实现电商用户支付行为分析和审计风控
电商支付数据模型（订单，流水，账户余额，发现表）
用户行为分析需求与维度指标设计
审计风控的需求与实现思路
Flink代码实现结构与业务逻辑细节拆解
