flink流处理的动态实时电商实时分析,Flink

FLink的窗口机制和流处理的方案加入FLink的底层引擎是一个流引擎，支持流处理和批处理，窗口是从流到批处理的桥梁。Flink系列6窗口机制窗口是flink无限流处理的核心，Flink是事件驱动的，是面向流的处理框架。

1、Flink详解系列之五--水位线(watermark在Flink中，水印是一种衡量EventTime进度的机制，用于处理实时 data中的无序问题。通常通过将水印和窗口相结合来实现。从产生实时 stream事件的设备，到Flink的来源，再到multiple oparator对数据的处理，数据会因为网络延迟、反压等因素而乱序。在处理窗口时，不可能无限期地等待延迟数据的到达。当它到达特定的水印时，

可以触发窗口计算，这个机制就是水?。?如下图所示。水印本质上是一个时间戳，它从动态开始变化，会根据当前最大事件时间生成。水印具体计算为:当水印时间戳大于等于窗口结束时间时，表示窗口结束，需要触发窗口计算。生成水印的最佳位置是尽可能靠近数据源，因为在生成水印时会对元素顺序的相对时间戳进行一些假设。

2、Flink详解系列之六--窗口机制窗口是flink无限流处理的核心。窗口将流分成有限大小的桶，我们可以在这些桶上进行计算。根据上游数据是否是KeyedStream类型(是否根据指定的键对数据进行分区)，窗口被分为KeyedWindow和NonKeyedWindows 。两者的区别在于，KeyStream调用相应的window()方法来指定窗口类型，数据会根据Key在不同的任务中并行计算，而NonKeyedStream需要调用WindowsAll()方法来指定窗口类型，所有的数据都会在一个任务中计算，相当于没有并行。

3、使用Flink批处理完成数据比对(对账上一篇文章使用Flink批处理来完成数据比较(对账) 。其次，讨论了使用TableAPI处理数据比较的问题。但是在某些场景下，会有一些复杂的业务需求，比如合并两边的数据进行输出。这个时候用TableAPI完成这样的需求并不容易，需要底层的DataSetAPI和ProcessFunction的帮助。本文将使用DataSetAPI来满足数据比较的要求。至于流数据的实时比较，下篇文章会介绍。

【flink流处理的动态实时电商实时分析,Flink】通过coGroup，where和equalTo，很容易说两个流中具有相同orderNo的数据是关联在一起的。coGroup不同于join，join只会把数据和同一个键联系起来，形成一个数据集。但是，当coGroup遇到只有一个指定键的数据集有记录的情况时，它会将这个组与一个空组相关联。从源代码中可以看出，使用Flink将双方的数据关联起来是非常容易的。