transformation操作概览(一)
Transformation | Meaning |
map | 对传入的每个元素,返回一个新的元素 |
flatMap | 对传入的每个元素,返回一个或多个元素 |
filter | 对传入的元素返回true或false,返回的false的元素被过滤掉 |
union | 将两个DStream进行合并 |
count | 返回元素的个数 |
reduce | 对所有values进行聚合 |
countByValue | 对元素按照值进行分组,对每个组进行计数,最后返回 |
reduceByKey | 对key对应的values进行聚合 |
cogroup | 对两个DStream进行连接操作,一个key连接起来的两个RDD的数据,都会以Iterable |
transformation操作概览(二)
Transformation | Meaning |
join | 对两个DStream进行join操作,每个连接起来的pair,作为新DStream的RDD的一个元素 |
transform | 对数据进行转换操作 |
updateStateByKey | 为每个key维护一份state,并进行更新(这个,我认为,是在普通的实时计算中,最有用的一种操作) |
window | 对滑动窗口数据执行操作(实时计算中最有特色的一种操作) |
文章最后,给大家推荐一些受欢迎的技术博客链接:
- Hadoop相关技术博客链接
- Spark 核心技术链接
- JAVA相关的深度技术博客链接
- 超全干货--Flink思维导图,花了3周左右编写、校对
- 深入JAVA 的JVM核心原理解决线上各种故障【附案例】
- 请谈谈你对volatile的理解?--最近小李子与面试官的一场“硬核较量”
- 聊聊RPC通信,经常被问到的一道面试题。源码+笔记,包懂
欢迎扫描下方的二维码或 搜索 公众号“10点进修”,我们会有更多、且及时的资料推送给您,欢迎多多交流!
评论记录:
回复评论: