戳蓝字“CSDN云计算”关注我们哦！
作者：安静的技术控
来源：CSDN
原文：
https://blog.csdn.net/a2011480169/article/details/52924955
版权声明：本文为博主原创文章，转载请附上博文链接！
现在大数据是越来越火了，而我自己研究这方面也很长时间了，今天就根据我自己的经验教会大家学会如何使用MapReduce，下文中将MapReduce简写为MR。
本篇博客将结合实际案例来具体说明MR的每一个知识点。
1、本篇博客核心内容
2、MR的基本概念
3、MR中map函数和reduce函数如何编写
4、MR程序的基本编写流程(MR的基本执行过程)
下面将用一个具体的电信业务说明MR最基本的编写过程：
实验所用数据:
具体字段描述:
业务要求:统计同一个用户的上行总流量和，下行总流量和以及上下总流量和
例如：
代码示例：
运行结果：
5、MR程序的优化方式1---分区
具体业务描述：对于上面的电信数据，统计同一个用户的上行总流量和，下行总流量和以及上下总流量和，并且手机号(11位)的信息输出到一个文件中，非手机号(8位)的信息输出到一个文件中
代码示例
运行结果：
6、MR程序的优化方式2---自定义排序
业务描述:
对于上面业务得到的统计结果:
先按照总流量由低到高排序，在总流量相同的情况下，按照下行流量和从低到高排序:
实例代码:
运行结果:
7、MR程序的优化方式3---本地归并Combine
具体业务描述：对于上面的电信数据，统计同一个用户的上行总流量和，下行总流量和以及上下总流量和，代码中要求加入本地归并优化方式:
代码示例：
运行结果：
8、MR程序的优化方式4---自定义计数器
9、如何用MR实现某个业务的方式总结
1.微信群：
添加小编微信：color_ld，备注“进群+姓名+公司职位”即可，加入【云计算学习交流群】，和志同道合的朋友们共同打卡学习！
2.征稿：
投稿邮箱：[email protected]；微信号：color_ld。请备注投稿+姓名+公司职位。
推荐阅读
点击“阅读原文”，查看原文
喜欢就点击“好看”吧！
评论记录：
回复评论：