基于Flink搭建流計算平臺培訓課程班

一、流式處理架構

1.1 流式處理背景及架構介紹
1.2 流式處理行業(yè)案例以及Flink的適用場景及應用概述

二、Flink概述

2.1 什么是Flink
2.2 Flink架構
2.3 Flink 與 Spark的比較以及為什么選擇Flink
2.4 Flink開發(fā)環(huán)境配置和搭建

三、Flink編程模型

3.1 數(shù)據(jù)集類型
3.2 Flink編程接口
3.3 Flink程序結構
3.4 Flink數(shù)據(jù)類型

四、DataStream API介紹與使用

4.1 DataStream編程模型
4.2 Flink Execution 參數(shù)
4.3 Transformation
4.4 時間概念與Watermark
4.5 Windows窗口計算
4.6 作業(yè)鏈和資源組
4.7 Asynchronous I/O異步API
4.8 Asynchronous I/O異步原理

五、Flink流式計算基本概念介紹

5.1 時間特性：Event Time / Processing Time / Ingestion Time
5.2 WaterMark
5.3 Source/Sink/Operator
5.4 數(shù)據(jù)完整性語義
5.5 State/Checkpoint/Savepoint
5.6 Time window

六、Flink Connector數(shù)據(jù)源

6.1 FlinkKafkaSource序列化、消費模式
6.2 FlinkKafkaSource容錯、動態(tài)分區(qū)及topic
6.3 FlinkKafkaSink序列化、配置、分區(qū)與容錯
6.4自定義Source和Sink

七、DataSet API介紹與使用

7.1 DataSet API，Transformation
7.2 迭代計算
7.3 廣播變量與分布式緩存
7.4 語義注解
7.5 DataSetUtils工具類

八、Table API & SQL介紹與使用

8.1 基本概念

流/表對偶性
Source/Sink Table
數(shù)據(jù)回撤

8.2 Flink Table API
8.3 Flink SQL使用

Flink SQL client
Flink SQL 已支持特性

8.4 自定義函數(shù) UDF/UDTF/UDAF

九、兩個完整的Flink實現(xiàn)案例

9.1 Kafka 數(shù)據(jù)流處理，寫入HDFS
9.2多源數(shù)據(jù)關聯(lián)與聚合分析

十、Flink有狀態(tài)的計算、狀態(tài)管理和容錯

10.1 什么是有狀態(tài)計算
10.2 有狀態(tài)計算中的數(shù)據(jù)一致性挑戰(zhàn)
10.3 理解state狀態(tài)
10.4 Operator State 的使用及Redistribute
10.5 Keyed State的使用與Redistribute
10.6 Broadcast State的妙用
10.7 Checkpoint核心原理剖析
10.8 Checkpoint使用條件及使用步驟
10.9 Checkpoint相關配置及重啟策略
10.10 Savepoint的觸發(fā)、Job恢復及刪除

十一、實戰(zhàn)項目1：用Flink實現(xiàn)一個通用、配置化的海量數(shù)據(jù)流、批處理產(chǎn)品

11.1實現(xiàn)配置管理
11.2實現(xiàn)數(shù)據(jù)源加載
11.3實現(xiàn)主流程控制
11.4實現(xiàn)任務管理

十二、Flink部署與應用

12.1 Flink集群部署
12.2 Flink高可用配置
12.3 Flink安全管理
12.4 Flink集群升級
12.5 Flink on Yarn的原理和運行方式
12.6 Flink on Yarn 提交任務與停止任務

十三、Flink監(jiān)控與性能優(yōu)化

13.1 監(jiān)控指標
13.2 Backpressure監(jiān)控與優(yōu)化
13.3 Checkpointing監(jiān)控與優(yōu)化
13.4 Flink內存優(yōu)化

十四、Flink組件棧介紹與使用

14.1 Flink復雜事件處理
14.2 Flink Gelly圖計算應用
14.3 FlinkML機器學習應用
14.4 Flink Metrics 與監(jiān)控

十五、Flink源碼學習

15.1 Flink源碼編譯
15.2 如何閱讀和學習Flink源碼
15.3 Flink源碼實現(xiàn)思路以及依賴管理
15.4 Flink核心模塊源碼帶讀與分析

十六、Flink在各大互聯(lián)網(wǎng)公司的典型應用剖析

16.1Flink在阿里的應用
16.2Flink在字節(jié)跳動的應用
16.3Flink在騰訊的應用
16.4Flink在微博的應用
16.5Flink在其他互聯(lián)網(wǎng)公司的應用
16.6Flink 最佳實踐

十七、實戰(zhàn)項目2：使用Flink實現(xiàn)電商用戶支付行為分析和審計風控

17.1電商支付數(shù)據(jù)模型（訂單，流水，賬戶余額，發(fā)現(xiàn)表）
17.2用戶行為分析需求與維度指標設計
17.3審計風控的需求與實現(xiàn)思路
17.4Flink代碼實現(xiàn)結構與業(yè)務邏輯細節(jié)拆解