江西省楚天建设集团有限公司网站,海外域名平台,外资企业,青岛海川建设集团有限公司网站《Flink 详解》系列#xff08;已完结#xff09;#xff0c;共包含以下 10 10 10 篇文章#xff1a;
【大数据】Flink 详解#xff08;一#xff09;#xff1a;基础篇【大数据】Flink 详解#xff08;二#xff09;#xff1a;核心篇 Ⅰ【大数据】Flink 详解已完结共包含以下 10 10 10 篇文章
【大数据】Flink 详解一基础篇【大数据】Flink 详解二核心篇 Ⅰ【大数据】Flink 详解三核心篇 Ⅱ【大数据】Flink 详解四核心篇 Ⅲ【大数据】Flink 详解五核心篇 Ⅳ【大数据】Flink 详解六源码篇 Ⅰ【大数据】Flink 详解七源码篇 Ⅱ【大数据】Flink 详解八SQL 篇 Ⅰ【大数据】Flink 详解九SQL 篇 Ⅱ【大数据】Flink 详解十SQL 篇 Ⅲ 如果您觉得这篇文章有用 ✔️ 的话请给博主一个一键三连 吧 点赞 、关注 、收藏 您的支持 将激励 博主输出更多优质内容 Flink 详解九SQL 篇 Ⅱ 96.源码中分区提交的 PartitionCommitTrigger 介绍一下97.PartitionTimeCommitTigger 是如何知道该提交哪些分区的呢源码分析98.如何保证已经写入分区的数据对下游可见的标志问题源码分析99.Flink SQL CEP 有没有接触过100.Flink SQL CEP 了解的参数介绍一下1️⃣ after match skip past last row2️⃣ after match skip to next row3️⃣ after match skip to last patternItem4️⃣ after match skip to first patternItem 101.编写一个 CEP SQL 案例如银行卡盗刷 96.源码中分区提交的 PartitionCommitTrigger 介绍一下
在源码中PartitionCommitTrigger 类图如下所示 该类中维护了两对必要的信息
pendingPartitions / pendingPartitionsState等待提交的分区 以及 对应的状态。watermarks / watermarksStatewatermarks用 TreeMap 存储以保证有序以及 对应的状态。
97.PartitionTimeCommitTigger 是如何知道该提交哪些分区的呢源码分析
1️⃣ 检查 checkpoint ID 是否合法。
2️⃣ 取出当前 checkpoint ID 对应的水印并调用 TreeMap 的 headMap() 和 clear() 方法删掉早于当前 checkpoint ID 的水印数据没用了。
3️⃣ 遍历等待提交的分区调用之前定义的 PartitionTimeExtractor。比如${year}-${month}-${day} ${hour}:00:00抽取分区时间。如果 watermark partition-time delay说明可以提交并返回它们。
98.如何保证已经写入分区的数据对下游可见的标志问题源码分析
在源码中主要涉及 PartitionCommitPolicy 类如下图所示 99.Flink SQL CEP 有没有接触过
CEPComplex Event Processing复杂事件处理用于识别输入流中符合指定规则的事件并按照指定方式输出。
起床 ➡ 洗漱 ➡ 吃饭 ➡ 上班一系列串联起来的事件流形成的模式。浏览商品 ➡ 加入购物车 ➡ 创建订单 ➡ 支付完成 ➡ 发货 ➡ 收货事件流形成的模式。
通过概念可以了解CEP 主要是 识别输入流中用户指定的一些基本规则的事件然后将这些事件再通过指定方式输出。
如下图所示 我们指定 “方块、圆” 为基本规则的事件在输入的原始流中将这些事件作为一个结果流输出来。
用户异常检测我们指定异常操作事件为要输出的结果流。策略营销指定符合要求的事件为结果流。运维监控指定一定范围的指标为结果流。银行卡盗刷指定同一时刻在两个地方被刷两次为异常结果流。
Flink CEP SQL 语法是通过 SQL 方式进行复杂事件处理但是与 Flink SQL 语法也不太相同其中包含许多规则。
100.Flink SQL CEP 了解的参数介绍一下
CEP 包含的参数如下 输出模式每个找到的匹配项应该输出多少行
one row per match每次检测到完整的匹配后进行汇总输出。all rows per matchFlink 暂不支持检测到完整的匹配后会把匹配过程中每条具体记录进行输出。
running VS final 语义
在计算中使用那些匹配的事件running 匹配中final 匹配结束。define 语句中只可以使用 runningmeasure 语句中两者都可以。输出结果区别 对于 one row per match输出没区别。对于 all rows per match输出不同。 匹配后跳转模式介绍
after match匹配后从哪里开始重新匹配
skip to next row从匹配成功的事件序列中的第一个事件的下一个事件开始进行下一次匹配。skip past last row从匹配成功的事件序列中的最后一个事件的下一个事件开始进行下一次匹配。skip to first patternItem从匹配成功的事件序列中第一个对应于 patternItem 的事件开始进行下一次匹配。skip to last patternItem从匹配成功的事件序列中最后一个对应于 patternItem 的事件开始进行下一次匹配。
注意使用 skip to first / last patternItem 容易出现循环匹配问题需要慎重。
针对上面的匹配后跳转模式分别介绍:
1️⃣ after match skip past last row 2️⃣ after match skip to next row 3️⃣ after match skip to last patternItem 4️⃣ after match skip to first patternItem 101.编写一个 CEP SQL 案例如银行卡盗刷
通过 Flink CEP SQL 写的关于金融场景银行卡盗刷案例。
案例介绍在金融场景中有时会出现银行卡盗刷现象犯罪分子利用互联网等技术在间隔 10 分钟或者更短时间内使一张银行卡在不同的两个地方出现多次刷卡记录这从常规操作来说在间隔时间很多的情况下用户是无法同时在两个城市进行刷卡交易的所以出现这种问题就需要后台做出触发报警机制。
要求当相同的 cardId 在十分钟内从两个不同的 Location 发生刷卡现象触发报警机制以便检测信用卡盗刷现象。 1编写 CEP SQL 时包含许多技巧首先我们编写最基础的查询语句,从一张表中查询需要的字段。
select starttime,endtime,cardId,event from dataStream2match_recognize();
该字段是 CEP SQL 的前提条件用于生成一个追加表所有的 CEP SQL 都是书写在这里面。
3分区排序
由于是对同一 ID所以需要使用 partition by还要根据时间进行排序 order by。
4理解 CEP SQL 核心的编写顺序如上图标的顺序
1️⃣ CEP SQL 的类为 Pattern检测在 10 分钟内两个地方出现刷卡现象所以定义两个事件。
Pattern (e1 e2) within interval 10 minute2️⃣ 定义在 Pattern 中要求的判断语句规定使用 define。
definee1 as a1.action e2 as e2.action and e2.location e1.location3️⃣ 根据上述的输入条件构建输出条件规定使用 measures。
measurese2.action as evente1.timestamp as starttimelast(e2.timestamp) as endtime4️⃣ 输出条件匹配成功输出一条规定写法这块根据不同的规则写不同的语句。
one row per match5️⃣ 匹配后跳转跳转到下一行根据不同规则写不同语句。
after match skip to next row根据核心编写顺序进行理解然后在按照书写正确的顺序进行编写。
