10.DStream的transformation操作概览

blog.csdn.net

id="article_content" class="article_content clearfix"> id="content_views" class="htmledit_views">

class="table-box">

Transformation	Meaning
map	对传入的每个元素，返回一个新的元素
flatMap	对传入的每个元素，返回一个或多个元素
filter	对传入的元素返回true或false，返回的false的元素被过滤掉
union	将两个DStream进行合并
count	返回元素的个数
reduce	对所有values进行聚合
countByValue	对元素按照值进行分组，对每个组进行计数，最后返回的格式
reduceByKey	对key对应的values进行聚合
cogroup	对两个DStream进行连接操作，一个key连接起来的两个RDD的数据，都会以Iterable的形式，出现在一个Tuple中。

class="table-box">

Transformation	Meaning
join	对两个DStream进行join操作，每个连接起来的pair，作为新DStream的RDD的一个元素
transform	对数据进行转换操作
updateStateByKey	为每个key维护一份state，并进行更新（这个，我认为，是在普通的实时计算中，最有用的一种操作）
window	对滑动窗口数据执行操作（实时计算中最有特色的一种操作）

文章最后，给大家推荐一些受欢迎的技术博客链接：

欢迎扫描下方的二维码或搜索公众号“10点进修”，我们会有更多、且及时的资料推送给您，欢迎多多交流！

注：本文转载自blog.csdn.net的不埋雷的探长的文章"https://blog.csdn.net/weixin_32265569/article/details/78571436"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。

复制链接

发表评论

未查询到任何数据！