Ubuntu环境下Hadoop集群/分布式环境配置

简介

本文介绍了在Ubuntu 16.04 TLS系统下，如何配置Hadoop 2.7.3集群运行环境。环境大搭建使用了虚拟化平台VMware vSphere 5.1，方便虚机的拷贝和部署。读者也可以在个人PC上通过虚拟化软件VirutalBox或WorkStation部署Hadoop的集群环境。本文假定读者已经部署了Hadoop的伪分布式运行环境的虚拟机。

Ubuntu虚机基本部署

文章 在Ubuntu环境下配置Hadoop伪分布式模式运行环境介绍了伪分布式环境下Hadoop运行环境的搭建，在虚拟化平台下，我们可以复制相关的虚拟机，快速搭建Hadoop分布式开发环境。

在本文中我们将创建一个master节点(10.220.33.37)，三个slave节点(10.220.33.34～10.220.33.36)。相关虚拟机节点上电后，除常规修改IP地址外，还需要对hostname和静态路由进行配置，保存后需要重启虚拟机。master节点的相关具体配置如下， slave节点参考做相应的配置：

hadoop@hadoop-master-vm:~$ cat /etc/hostname
hadoop-master-vm
hadoop@hadoop-master-vm:~$ cat /etc/hosts
127.0.0.1       localhost
127.0.1.1       hadoop-master-vm

10.220.33.37    hadoop-master-vm
10.220.33.36    hadoop-slave01-vm
10.220.33.35    hadoop-slave02-vm
10.220.33.34    hadoop-slave03-vm

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
配置完成后，可以在相关节点上分别做ping测试，确保相关静态路由正确配置。

SSH无密码登录节点

由于我们是基于Hadoop伪分布式虚拟机创建的Master和Slave节点，因此需要在master和slave节点上重新生产公钥：

hadoop@hadoop-master-vm:~$ cd ~/.ssh                    # 如果没有该目录，先执行一次ssh localhost
hadoop@hadoop-master-vm:~/.ssh$ rm ./id_rsa*            # 删除之前生成的公匙（如果有）
hadoop@hadoop-master-vm:~/.ssh$ ssh-keygen -t rsa       # 一直按回车就可以
hadoop@hadoop-master-vm:~/.ssh$ cat ./id_rsa.pub >> ./authorized_keys
配置完成后，可以通过ssh hostname命令来验证无密码登录是否生效。 

hadoop@hadoop-master-vm:~$ ssh hadoop-master-vm
The authenticity of host 'hadoop-master-vm (127.0.1.1)' can't be established.
ECDSA key fingerprint is SHA256:1YeLhgGTygKaitVVyQCDDXKRCOHb59az/8fj0+nwvUI.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'hadoop-master-vm' (ECDSA) to the list of known hosts.
Welcome to Ubuntu 16.04.3 LTS (GNU/Linux 4.10.0-35-generic x86_64)

 * Documentation:  https://help.ubuntu.com
 * Management:     https://landscape.canonical.com
 * Support:        https://ubuntu.com/advantage

59 packages can be updated.
9 updates are security updates.

Last login: Sun Feb 12 21:09:20 2017 from 10.220.40.31
hadoop@hadoop-master-vm:~$
为了让Master节点可以无密码SSH登录各个Slave节点，需要将Master节点的公钥导入到各Slave节点中。我们使用scp命令将Master的公钥拷贝到Slave节点上，并导入Master公钥授权： 

hadoop@hadoop-slave01-vm:~$ scp hadoop@hadoop-master-vm:/home/hadoop/.ssh/id_rsa.pub .
The authenticity of host 'hadoop-master-vm (10.220.33.37)' can't be established.
ECDSA key fingerprint is SHA256:1YeLhgGTygKaitVVyQCDDXKRCOHb59az/8fj0+nwvUI.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'hadoop-master-vm,10.220.33.37' (ECDSA) to the list of known hosts.
hadoop@hadoop-master-vm's password:
id_rsa.pub                                                                                             100%  405     0.4KB/s   00:00
hadoop@hadoop-slave01-vm:~$ cat id_rsa.pub >> .ssh/authorized_keys
hadoop@hadoop-slave01-vm:~$ rm id_rsa.pub
配置完成后，可以在Master节点上通过ssh hadoop-slave01-vm命令验证，确保Master可以通过无密码登录Slave节点。

配置集群/分布式环境

接下来的内容进入我们本文的重点，配置Hadoop集群/分布式环境。Hadoop的相关配置文件保存在$HADOOP_INSTALL/etc/hadoop目录下，这里将对相关配置逐一介绍. 首先我们将在hadoop-master-vm主机上进行下面的配置：

1. slaves配置文件

slaves配置文件保存了DataNode节点的主机名列表，每行保存一个，缺省为localhost。因此在伪分布式模式下，我们并没有对slaves配置文件进行修改，因为在伪分布式模式下，节点即作为NameNode，也作为DataNode运行。在分布式配置中，可以根据具体需要确定是否需要将Master节点作为DataNode节点来运行。在我个人的环境中，删除了localhost节点，主要考虑后期需要做DataNode节点加入/离开验证。

hadoop-slave01-vm
hadoop-slave02-vm
hadoop-slave03-vm
2. core-site.xml配置

核心位置配置与伪分布式配置类似，差别主要是将fs.defaultFS配置为Master节点的地址，而非设置为localhost：

  1. <configuration>
  2.     <property>
  3.         <name>hadoop.tmp.dirname>
  4.         <value>file:/usr/local/hadoop/tmpvalue>
  5.         <description>Abase for other temporary directories.description>
  6.     property>
  7.     <property>
  8.         <name>fs.defaultFSname>
  9.         <value>hdfs://hadoop-master-vm:9000value>
  10.     property>
  11. configuration>
3. hdfs-site.xml配置

dfs.replication一般配置为3，在当前的环境下，最多可以有4个DataNode节点，我们保留了这个配置。

  1. <configuration>
  2.     <property>
  3.         <name>dfs.namenode.secondary.http-addressname>
  4.         <value>hadoop-master-vm:50090value>
  5.     property>
  6.     <property>
  7.         <name>dfs.replicationname>
  8.         <value>3value>
  9.     property>
  10.     <property>
  11.         <name>dfs.namenode.name.dirname>
  12.         <value>file:/usr/local/hadoop/tmp/dfs/namevalue>
  13.     property>
  14.     <property>
  15.         <name>dfs.datanode.data.dirname>
  16.         <value>file:/usr/local/hadoop/tmp/dfs/datavalue>
  17.     property>
  18. configuration>
4. mapred-site.xml配置

MapReduce的相关配置：

  1. <configuration>
  2.     <property>
  3.         <name>mapreduce.framework.namename>
  4.         <value>yarnvalue>
  5.     property>
  6.     <property>
  7.         <name>mapreduce.jobhistory.addressname>
  8.         <value>hadoop-master-vm:10020value>
  9.     property>
  10.     <property>
  11.         <name>mapreduce.jobhistory.webapp.addressname>
  12.         <value>hadoop-master-vm:19888value>
  13.     property>
  14. configuration>
5. yarn-site.xml配置 

  1. <configuration>
  2. 	<property>
  3. 		<name>yarn.resourcemanager.hostnamename>
  4. 		<value>hadoop-master-vmvalue>
  5. 	property>
  6. 	<property>
  7. 		<name>yarn.nodemanager.aux-servicesname>
  8. 		<value>mapreduce_shufflevalue>
  9. 	property>
  10. configuration>
将上述配置文件修改后，需要将配置同步到其它DataNode节点。 

scp -r hadoop@hadoop-master-vm:/home/hadoop/hadoop-2.7.3/etc/hadoop/* /home/hadoop/hadoop-2.7.3/etc/hadoop/
接下来将进一步配置Master节点。由于之前运行过伪分布式模式，因此需要在所有节点上，将安装目录tmp和logs目录下的文件删除，恢复配置。该操作需要在所有节点在执行。在启动前需要在Master节点上执行NameNode格式化操作（仅在首次运行时执行该操作，以后不需要）： 

hadoop@hadoop-master-vm:~$ hdfs namenode -format
格式化完成之后，就可以在Master节点上来启动Hadoop了。 
hadoop@hadoop-master-vm:~$ start-dfs.sh
Starting namenodes on [hadoop-master-vm]
hadoop-master-vm: starting namenode, logging to /usr/local/hadoop-2.7.3/logs/hadoop-hadoop-namenode-hadoop-master-vm.out
hadoop-slave02-vm: starting datanode, logging to /usr/local/hadoop-2.7.3/logs/hadoop-hadoop-datanode-hadoop-slave02-vm.out
hadoop-slave03-vm: starting datanode, logging to /usr/local/hadoop-2.7.3/logs/hadoop-hadoop-datanode-hadoop-slave03-vm.out
hadoop-slave01-vm: starting datanode, logging to /usr/local/hadoop-2.7.3/logs/hadoop-hadoop-datanode-hadoop-slave01-vm.out
Starting secondary namenodes [hadoop-master-vm]
hadoop-master-vm: starting secondarynamenode, logging to /usr/local/hadoop-2.7.3/logs/hadoop-hadoop-secondarynamenode-hadoop-master-vm.out
hadoop@hadoop-master-vm:~$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop-2.7.3/logs/yarn-hadoop-resourcemanager-hadoop-master-vm.out
hadoop-slave02-vm: starting nodemanager, logging to /usr/local/hadoop-2.7.3/logs/yarn-hadoop-nodemanager-hadoop-slave02-vm.out
hadoop-slave03-vm: starting nodemanager, logging to /usr/local/hadoop-2.7.3/logs/yarn-hadoop-nodemanager-hadoop-slave03-vm.out
hadoop-slave01-vm: starting nodemanager, logging to /usr/local/hadoop-2.7.3/logs/yarn-hadoop-nodemanager-hadoop-slave01-vm.out
hadoop@hadoop-master-vm:~$ mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /usr/local/hadoop-2.7.3/logs/mapred-hadoop-historyserver-hadoop-master-vm.out
从启动的log日志中，我们可以看出Master会启动Slave的相关服务。

通过jps命令可以查看各个节点上所启动的服务的。如果能够正常启动的话，在Master节点上，可以看到NameNode、ResourceManager、SecondaryNameNode、JobHisotryServer服务：

hadoop@hadoop-master-vm:~$ jps
3121 JobHistoryServer
2434 NameNode
2826 ResourceManager
2666 SecondaryNameNode
3215 Jps
在Slave节点上可以看到DataNode和NodeManager服务： 
hadoop@hadoop-slave01-vm:~/hadoop-2.7.3$ jps
2289 Jps
2070 DataNode
2183 NodeManager
这表明Hadoop已经正常启动了。如果需要关闭Hadoop，执行下面的命令就可以了： 

hadoop@hadoop-master-vm:~$ stop-yarn.sh
hadoop@hadoop-master-vm:~$ stop-dfs.sh
hadoop@hadoop-master-vm:~$ mr-jobhistory-daemon.sh stop historyserver

可以通过WEB来检查启动的正确性：

守护进程Web界面
NameNodehttp://10.220.33.37:50070/
ResourceManagerhttp://10.220.33.37:8088
MapReduce JobHistory Serverhttp://10.220.33.37:19888

常见问题

1. 由于我们是基于现有伪分布式虚机搭建分布式环境，在第一次启动前一定要删除安装目录下tmp目录下旧的配置，否则可能出现DataNode无法启动问题。在博文Hadoop 2.7.x NameNode重新格式化后导致DataNode无法启动问题中有相关的介绍。

2. 由于/etc/hosts配置错误，导致DataNode无法连接问题，可参考博文如何解决Hadoop集群环境下DataNode无法连接NameNode问题。

参考资料

1. Hadoop Cluster Setup

id="article_content" class="article_content clearfix" style="height: 2000px; overflow: hidden;"> id="content_views" class="htmledit_views">

系列文章

class="table-box">
序号文章目录直达链接
1浪漫520表白代码http://iyenn.com/rec/1677773.html
2满屏表白代码http://iyenn.com/rec/1676512.html
3跳动的爱心http://iyenn.com/rec/1677774.html
4漂浮爱心http://iyenn.com/rec/1677775.html
5爱心光波http://iyenn.com/rec/1677776.html
6流星雨http://iyenn.com/rec/1677777.html
7满天星http://iyenn.com/rec/1677778.html
8烟花秀http://iyenn.com/rec/1677779.html
9圣诞树http://iyenn.com/rec/1677780.html
10雪花代码http://iyenn.com/rec/1677781.html
11模拟星空http://iyenn.com/rec/1677782.html
12生日蛋糕http://iyenn.com/rec/1677783.html
13樱花树http://iyenn.com/rec/1677784.html
14五彩气球http://iyenn.com/rec/1677785.html
15七彩花朵http://iyenn.com/rec/1677786.html
16恶搞代码http://iyenn.com/rec/1677787.html

目录

系列文章

前言 

底盘

蛋糕

蜡烛 

祝福 

 

前言 

Hello，小伙伴们晚上好吖！前两天博主满20岁啦（要开始奔三辽呜呜呜），这几天收到了不少小伙伴们的祝福，浪漫的小博主想送给大家一份不一样的生日蛋糕，感谢大家对俺滴支持！（完整代码文末公众号免费领取哦）

底盘

在制作蛋糕之前咱们需要先找到一个好看的盘子吖~

def ground_floor(width,height,colors_a,h):
    t.penup()
    t.goto(width, h)
    t.pendown()
    t.begin_fill()
    t.fillcolor(colors_a[0])
    for i in range(360):
        x=draw_x(width, i)
        y=draw_y(height,i)+h
        t.goto(x,y)
    t.end_fill()
    t.begin_fill()
    t.fillcolor(colors_a[1])
    for i in range(180):
        x=draw_x(width, -i)
        y=draw_y(height+10,-i)+h
        t.goto(x,y)
    for i in range(180,360):
        x=draw_x(width, i)
        y=draw_y(height,i)+h
        t.goto(x,y)
    t.end_fill()

蛋糕

找到了我们喜欢的盘子后，咱们就可以一层层制作蛋糕啦！ 

def each_piece(width,height_1,height_2,colors_b,h):
    t.penup()
    t.goto(width,h)
    t.pendown()
    t.begin_fill()
    t.fillcolor(colors_b[0])
    for i in range(360):
        x=draw_x(width, i)
        y=draw_y(height_1,i)+h
        t.goto(x,y)
    t.end_fill()
    t.begin_fill()
    t.fillcolor(colors_b[0])
    for i in range(540):
        x=draw_x(width, i)
        y=draw_y(height_1,i)+height_2+h
        t.goto(x,y)
    t.goto(-width,h)
    t.end_fill()
    t.penup()
    t.goto(width-10,height_2+h)
    t.pendown()
    t.begin_fill()
    t.fillcolor(colors_b[1])
    for i in range(360):
        x=draw_x(width - 10, i)
        y=draw_y(height_1*0.9,i)+height_2+h
        t.goto(x,y)
    t.end_fill()
    t.penup()
    t.goto(width,h)
    t.pendown()
    t.begin_fill()
    t.fillcolor(colors_b[2])
    for i in range(180):
        x=draw_x(width, -i)
        y=draw_y(height_1,-i)+10+h
        t.goto(x,y)
    t.goto(-width,h)
    for i in range(180,360):
        x=draw_x(width, i)
        y=draw_y(height_1,i)+h
        t.goto(x,y)
    t.end_fill()
    t.penup()
    t.goto(width,height_2+h)
    t.pendown()
    t.begin_fill()
    t.fillcolor(colors_b[3])
    for i in range(1800):
        x=draw_x(width, 0.1 * i)
        y=draw_y(-height_1*0.3,i)+h
        t.goto(x,y)
    t.goto(-width,height_2+h)
    for i in range(180,360):
        x=draw_x(width, i)
        y=draw_y(height_1,i)+height_2+h
        t.goto(x,y)
    t.end_fill()

蜡烛 

蛋糕完成后不要忘记制作蜡烛喔~

祝福 

最最最重要滴，一定不要忘记写下对她的祝福吖！ 

t.write("Happy Birthday!", font=("Curlz MT", 50)) 

id="blogExtensionBox" style="width:400px;margin:auto;margin-top:12px" class="blog-extension-box"> class="blog_extension blog_extension_type1" id="blog_extension"> class="blog_extension_card" data-report-click="{"spm":"1001.2101.3001.6470"}"> class="blog_extension_card_left">
class="blog_extension_card_cont"> class="blog_extension_card_cont_l"> Want595 class="blog_extension_card_cont_r"> 微信公众号
获取源码丨商务合作丨交流讨论
注：本文转载自blog.csdn.net的Bob Liu的文章"http://blog.csdn.net/jinguangliu/article/details/78062106"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
复制链接
复制链接
相关推荐
发表评论

评论记录：

未查询到任何数据！