大数据RPC技术链接:RPC研究,从浅到深,含研究笔记:超级全面,包懂
在流式分布式计算领域中,Flink可以和Spark Streaming、Storm叫板了。从我的使用流式情况来看,Flink在流式处理这块完全可以代替其他的框架了。Flink技术点多,容易忘记,为此专门整理了Flink思维导图。方便记忆。
需要说明一下,Flink使用场景:大数据流式计算、金融风控、实时异常监测(订单、传感器、刷单、登录)等。
超级干货--Flink思维导图,花了3周左右编写、校对。下载链接:Flink_思维导图(干货).xmind.zip
class="table-box">如果之前对Spark 开发经验的小伙伴,Flink结合起来会更容易深入。以下是我自己整理的Flink相关笔记,同时与主流的Spark Streaming进行类比:
中文名称 | Flink | Spark Streaming |
作业管理器 | JobManager | Master+Driver |
作业执行器 | TaskManager | Worker+Executor |
工作线程 | Slots | Cpu Core |
最大并发度 | TaskManager数 * 每个TaskManager 中的Task Slot | Executor数 * 每个Executor 中的cpu core |
混洗 | redistribute | shuffle |
数据流 | DStream | DataStream |
转换操作 | Transformation | Transformation |
触发操作 | Sink | Action |
阶段 | Task | Stage |
子任务 | SubTask | Task |
图 | DAG DataFlow | Graph |
评论记录:
回复评论: