Flink技术分享(2)

Flink基础知识分享ApacheFlink-StatefulComputationsoverDataStreams运行架构OnYarn集群模式FlinkApplication-APIMapMapPartitionFlatMapFilterReduceTasksandOperatorChains•Operator是FlinkDAG作业的基本操作符•Task由至少一个operator组成（可能有多个operator链到一起）•Subtask对应一个线程TaskSlotsandResources•每个TaskManager对应一个JVM•每个任务槽表示TaskManager资源的一个固定子集•同一个JVM中的Tasks共享TCP，心跳和CPU，TaskManager仅做内存隔离•Subtasks可共享一个slot经验法则：最佳性能是提交的taskslots跟cpu数量一致StateBackends•MemoryStateBackend•FsStateBackend•RocksDBStateBackendFlinkStreaming–Time•Processingtime•Eventtime•IngestiontimeFlinkStreaming-WatermarkFlinkStreaming-WindowsWindow的特征：•生命周期：当时间（event时间或者Processing时间）超过EndTime+allowedlateness。•Trigger（触发Function）•Function（ProcessWindowFunction，ReduceFunction等）•EvictorWindowAssigners-TumblingWindowsWindowAssigners-SlidingWindowsWindowAssigners-SessionWindowsSessionWindows需要定义mergingTrigger和mergingWindowFunctionWindowAssigners-GlobalWindowsGlobalWindows需要自定义它的TriggerFlinkStreaming-WebUI应用场景一：应用场景二：