在Ubuntu环境下配置Hadoop伪分布式模式运行环境

简介

Hadoop伪分布式模式在实际应用中并没有什么意义，但是在程序的测试和调试过程中，还是很有意义的。本文介绍了在Ubuntu 16.04 TLS系统上，如何安装和配置Hadoop 2.7.3的伪分布式模式。

创建Hadoop用户

创建hadoop用户，设置用户密码，并增加管理员权限。

bob@bob-virtual-machine:~$ sudo useradd -m hadoop -s /bin/bash     # 创建hadoop用户
bob@bob-virtual-machine:~$ sudo passwd hadoop          # 修改密码
bob@bob-virtual-machine:~$ sudo adduser hadoop sudo    # 增加管理员权限

ssh安装和配置

Hadoop控制脚本(并非守护进程)依赖SSH来执行针对整个集群的操作，如通过ssh来启动或终止slave列表中各台主机的守护进程。为了支持无缝式工作， SSH安装好之后，需要允许hadoop用户无需键入密码即可登录集群内的机器。最简单的方法是创建一个公钥/私钥对，存放在NFS之中，让整个集群共享该密钥对。

首先，以hadoop用户帐号登录后，键入以下指令来产生一个RSA密钥对。
%ssh-keygen -t rsa -f ~/.ssh/id_rsa
尽管期望无密码登录，但无口令的密钥并不是一个好的选择(运行在本地伪分布集群上时，倒也不妨使用一个空口令)。因此，当系统提示输入口令时，用户最好指定一个口令。可以使用ssh-agent以免为每个连接逐一输入密码。
私钥放在由-f选项指定的文件之中，例如~/.ssh/id rsa。存放公钥的文件名称与私钥类似，但是以“.pub”作为后缀，例如~/.ssh/id_rsa.pub。
接下来，需确保公钥存放在用户打算连接的所有机器的~,=./ssh/authorized_keys文件中。

下面是具体配置方法：

hadoop@bob-virtual-machine:~$ sudo apt-get install openssh-server
hadoop@bob-virtual-machine:~$ cd .ssh/
hadoop@bob-virtual-machine:~/.ssh$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:aXkPbR3dXlg/iNQtk0nCHeo/9aUE8x9PR4PMhz3umb4 hadoop@bob-virtual-machine
The key's randomart image is:
+---[RSA 2048]----+
|          .o+o= .|
|          ..*B==o|
|           oo*=**|
|         o.. =o+=|
|        S o.o ++=|
|       . . +..o+O|
|            .o.++|
|              o  |
|               E.|
+----[SHA256]-----+
hadoop@bob-virtual-machine:~/.ssh$ ls
id_rsa  id_rsa.pub  known_hosts
hadoop@bob-virtual-machine:~/.ssh$ cat id_rsa.pub >> authorized_keys
hadoop@bob-virtual-machine:~/.ssh$ ssh localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established.
ECDSA key fingerprint is SHA256:1YeLhgGTygKaitVVyQCDDXKRCOHb59az/8fj0+nwvUI.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
Welcome to Ubuntu 16.04.3 LTS (GNU/Linux 4.10.0-28-generic x86_64)

 * Documentation:  https://help.ubuntu.com
 * Management:     https://landscape.canonical.com
 * Support:        https://ubuntu.com/advantage

104 packages can be updated.
61 updates are security updates.

Last login: Tue Jan 31 01:19:35 2017 from 10.220.33.31
To run a command as administrator (user "root"), use "sudo ".
See "man sudo_root" for details.
注释：

1. 如果.ssh目录不存在，需要手工创建。

2. ssh-keygen用来生成秘钥，-t表示指定生成的秘钥加密算法。在以RSA为加密算法生成秘钥时，适用的是缺省参数，不需要用户提供输入。

3. 适用"ssh localhost"来验证是否支持无密码登录。第一次登录时会访问你是否继续连接，输入yes即可进入。实际上，在Hadoop的安装过程中，是否无密码登录是无关紧要的，但是如果不配置无密码登录，每次启动Hadoop，都需要输入密码以登录到每台机器的DataNode上，考虑到一般的Hadoop集群动辄数百台或上千台机器，因此一般来说都会配置SSH的无密码登录。

Java安装和环境配置

Hadoop主要是用Java语言编写的，需要在Hadoop安装前安装配置JDK。需要安装JDK并配置相应的环境变量。通过apt-get install命令来安装JDK和帮助文档。

hadoop@bob-virtual-machine:~$ sudo apt-get install openjdk-8-jdk
hadoop@bob-virtual-machine:~$ sudo apt-get install openjdk-8-doc
hadoop@bob-virtual-machine:~$ sudo apt-get install openjdk-8-source
在文件~/.bashrc最前面添加如下单独一行，来设置JAVA_HOME的环境变量： 

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

Hadoop伪分布式模式配置

Hadoop有三种运行方式：单节点方式、单机伪分布式模式与集群方式。前两种方式不能体现云计算的优势，在实际应用中并没有什么意义，但是在程序的测试和调试过程中，还是很有意义的。伪分布式的配置过程也很简单，也是本节介绍的重点。
Hadoop的安装比较简单，在官网http://hadoop.apache.org上下载hadoop的压缩文件hadoop-2.7.3.tar.gz文件后，将其解压到/usr/local中，并设置hadoop目录的用户属性。

hadoop@bob-virtual-machine:~$ sudo tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local
hadoop@bob-virtual-machine:~$ cd /usr/local
hadoop@bob-virtual-machine:/usr/local$ sudo ln -s hadoop-2.7.3 hadoop
hadoop@bob-virtual-machine:/usr/local$ sudo chown -R hadoop ./hadoop
hadoop@bob-virtual-machine:/usr/local$ ls -l
total 36
drwxr-xr-x 2 root   root 4096 Aug  1  2017 bin
drwxr-xr-x 2 root   root 4096 Aug  1  2017 etc
drwxr-xr-x 2 root   root 4096 Aug  1  2017 games
lrwxrwxrwx 1 hadoop root   12 Jan 31 02:12 hadoop -> hadoop-2.7.3
drwxr-xr-x 9 root   root 4096 Aug 17 21:49 hadoop-2.7.3
drwxr-xr-x 2 root   root 4096 Aug  1  2017 include
drwxr-xr-x 4 root   root 4096 Aug  1  2017 lib
lrwxrwxrwx 1 root   root    9 Jan 30 18:20 man -> share/man
drwxr-xr-x 2 root   root 4096 Aug  1  2017 sbin
drwxr-xr-x 8 root   root 4096 Aug  1  2017 share
drwxr-xr-x 2 root   root 4096 Aug  1  2017 src
为方便执行相关的Hadoop命令，可以在PATH中添加Hadoop的bin目录，通过修改/etc/environment或/home/hadoop/profile文件，修改PATH的值；前者对所有用户生效，后者仅对Hadoop用户生效。这里我们配置的/etc/enviroment文件： 
hadoop@bob-virtual-machine:~$ cat /etc/environment
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/local/hadoop/bin:/usr/local/hadoop/sbin"
Hadoop以XML格式来提供配置接口，位于安装目录的etc/hadoop子目录下。伪分布式的配置仅涉及少数几个文件，建议修改前先备份配置文件。
1. core-site.xml配置文件

Hadoop配置文件，存放Hadoop Core的配置项，例如HDFS和MapReduce常用的I/O配置等。这里配置的HDFS的地址、端口号和临时目录，相应的配置如下：

  1. "1.0" encoding="UTF-8"?>
  2. "text/xsl" href="configuration.xsl"?>
  4. <configuration>
  5.     <property>
  6.         <name>hadoop.tmp.dirname>
  7.         <value>file:/usr/local/hadoop/tmpvalue>
  8.         <description>Abase for other temporary directories.description>
  9.     property>
  10.     <property>
  11.         <name>fs.defaultFSname>
  12.         <value>hdfs://localhost:9000value>
  13.     property>
  14. configuration>
2. hdfs-site.xml文件

Hadoop守护进程的配置项，包括namenode, 辅助namenode和datanode等。下面具体配置里，其中dfs.replication配置的是块数据备份的数目，缺省为3，由于我们这里配置的是伪分布式模式，所以，修改为1。dfs.namenode.name.dir配置的NameNode的工作目录，而dfs.datanode.data.dir配置DataNode的工作目录。关于NameNode和DataNode，可以参考本文的参考文章。

  1. "text/xsl" href="configuration.xsl"?>
  2.  
  4.  
  5. <configuration>
  6.     <property>
  7.         <name>dfs.replicationname>
  8.         <value>1value>
  9.     property>
  10.     <property>
  11.         <name>dfs.namenode.name.dirname>
  12.         <value>file:/usr/local/hadoop/tmp/dfs/namevalue>
  13.     property>
  14.     <property>
  15.         <name>dfs.datanode.data.dirname>
  16.         <value>file:/usr/local/hadoop/tmp/dfs/datavalue>
  17.     property>
  18. configuration>
3. hadoop-env.sh文件

这个是Hadoop中的环境变量配置文件，需要将JAVA_HOME的配置进行修改，否则会出现“localhost: Error: JAVA_HOME is not set and could not be found.”错误。 
# The only required environment variable is JAVA_HOME.  All others are
# optional.  When running a distributed configuration it is best to
# set JAVA_HOME in this file, so that it is correctly defined on
# remote nodes.

# The java implementation to use.
export JAVA_HOME=$(readlink -f /usr/bin/javac | sed "s:/bin/javac::")

启动Hadoop

在启动Hadoop前，需要格式化Hadoop的文件系统HDFS。

hadoop@bob-virtual-machine:~$  hdfs namenode -format                          
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

17/01/31 03:22:47 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = bob-virtual-machine/127.0.1.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.7.3
......
17/01/31 03:22:48 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
17/01/31 03:22:49 INFO util.ExitUtil: Exiting with status 0
17/01/31 03:22:49 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at bob-virtual-machine/127.0.1.1
************************************************************/
通过hadoop命令为用户创建工作目录： 

hadoop@bob-virtual-machine:~$ hadoop fs -mkdir -p /user/hadoop
hadoop@bob-virtual-machine:~$ hadoop fs -mkdir temp
hadoop@bob-virtual-machine:~$ hadoop fs -ls
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2017-01-31 05:03 temp
通过start-dfs.sh脚本启动hadoop，并通过jps命令查看相应JVM服务进程。 
hadoop@bob-virtual-machine:~$ start-dfs.sh 
Starting namenodes on [localhost]
localhost: starting namenode, logging to /usr/local/hadoop-2.7.3/logs/hadoop-hadoop-namenode-bob-virtual-machine.out
localhost: starting datanode, logging to /usr/local/hadoop-2.7.3/logs/hadoop-hadoop-datanode-bob-virtual-machine.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop-2.7.3/logs/hadoop-hadoop-secondarynamenode-bob-virtual-machine.out
hadoop@bob-virtual-machine:~$ jps
10067 SecondaryNameNode
9717 NameNode
9846 DataNode
10189 Jps

使用WEB浏览器可以访问http://localhost:50070来查看Hadoop状态信息：



常见问题

1. 启动过程失败，显示“localhost: Error: JAVA_HOME is not set and could not be found.”。不能正确识别JAVA_HOME环境变量，参考本文hdfs-env.sh文件配置章节
2. 执行hadoop fs命令，出现类似ls: '.': No such file or directory'错误，这种主要是未创建当前用户的工作目录，使用命令hadoop fs -mkdir -p /user/[current login user]为当前用户创建工作目录即可解决。

id="article_content" class="article_content clearfix" style="height: 2000px; overflow: hidden;"> id="content_views" class="markdown_views prism-atom-one-light">

樱花树

系列文章

class="table-box">
序号文章目录直达链接
1浪漫520表白代码http://iyenn.com/rec/1677773.html
2满屏表白代码http://iyenn.com/rec/1676512.html
3跳动的爱心http://iyenn.com/rec/1677774.html
4漂浮爱心http://iyenn.com/rec/1677775.html
5爱心光波http://iyenn.com/rec/1677776.html
6流星雨http://iyenn.com/rec/1677777.html
7满天星http://iyenn.com/rec/1677778.html
8烟花秀http://iyenn.com/rec/1677779.html
9圣诞树http://iyenn.com/rec/1677780.html
10雪花代码http://iyenn.com/rec/1677781.html
11模拟星空http://iyenn.com/rec/1677782.html
12生日蛋糕http://iyenn.com/rec/1677783.html
13樱花树http://iyenn.com/rec/1677784.html
14五彩气球http://iyenn.com/rec/1677785.html
15七彩花朵http://iyenn.com/rec/1677786.html
16恶搞代码http://iyenn.com/rec/1677787.html

class="toc">

文章目录

前言

粉色系最爱！Python樱花树等你获取~
哈喽小伙伴们好久不见啦，最近樱花开得好美吖，博主想和大家一起分享春天的快乐，一起来看看博主画的樱花树吧！
（完整代码文末公众号免费领取哦）

一、Turtle基础

老生常谈啦，在用python画樱花树前，我们先来了解一下turtle吧！

小海龟(Turtle)是Python中画图的一个重要的包（内置包），里面包含丰富的画图工具以及画图的各种功能，当你学会了用Turtle画图后，你可以画任何你想画的图案哦。

1.1 Turtle画板

Turtle的画板大小可以用turtle.screensize()函数来设置

turtle.screensize(width,height,bg)
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">
  • 1

设置画板的大小，包含宽和高，width为宽，height为高，bg为画布颜色

1.2 Turtle画笔

Turtle的画笔有几个常用的函数：

①turtle.penup()：抬起画笔，此时移动画笔不会在画布上留下痕迹哦
②turtle.pendown()：放下画笔，与turtle.penup相对应，放下画笔后就可以继续画画了（放下画笔后画画会在画布上留下痕迹）
③turtle.pensize()：控制画笔的大小（可以根据需求自行定义画笔的大小哦）
④turtle.pencolor()：控制画笔的颜色（可以自己在网上查阅所有python可以使用的颜色，python里面可以用的颜色有很多的哦）
⑤turtle.hideturtle()：隐藏画笔（隐藏画笔以后画图时画笔就看不到了）

1.3 Turtle画图

在画图的过程中，我们经常要使用一些简单的移动函数：

①turtle.forward(x)：将画笔向前移动x个像素（x可以理解为距离）
②turtle.backward(x)：将画笔向后退x个像素（x可以理解为距离）
③turtle.left(n)：将画笔向左旋转n度
④turtle.right(n)：将画笔向右旋转n度
⑤turtle.speed()：设置画笔画图的速度（1~10递增，0最快）

1.4 Turtle填色

在画好图后，我们经常需要对其进行填色，这里可以用turtle.fillcolor()函数，括号里写入你想填充的颜色即可。
在使用turtle.fillcolor()函数要注意其基本格式：

turtle.beginfill()     #开始填充
turtle.fillcolor()      #输入填充的颜色
turtle.endfill()        #结束填充
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

1.5 Turtle写字

在完成整个画图后，我们可以使用turtle.write()函数进行写字

turtle.write(" ",move,align,font)
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

① 第一个位置双引号内填入要写的字
② move（可选）：在默认情况下，move为false。如果move为true，则笔将移动到右下角
③ align（可选）：可取值是left即左、center即中、right即右之一，是字符串格式
④ font（可选）：字体三元组（fontname、fontsize、fonttype），fontname即字体名称（字符串格式，如“宋体”），fontsize即字体大小），fonttype即字体类型如：normal（普通）、bold（粗体）、italic（斜体）

二、Python樱花树

简单的了解turtle小海龟后，我们就可以步入今天的主题啦！

樱花树

2.1 樱花类

既然是樱花树，那肯定要画樱花啦，在这里我选择了五片花瓣的樱花

def flower():  
    tu.hideturtle() 
    tu.pensize(2)  
    tu.pencolor("pink")
    flowersize = ra.randint(1,5)  
    for j in range(5):  
        tu.forward(int(flowersize))
        tu.backward(int(flowersize))
        tu.right(72)
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

2.2 樱花树

樱花画好后，我们就可以递归画树啦

def tree(n,k):
    tu.pendown()  
    tu.pencolor("black")
    tu.pensize(n/4)
    tu.forward(k)  
    if n>0:
        r=ra.random()*10+10
        l=ra.random()*10+10
        x=k*(ra.random()*0.25+0.7)  
        tu.right(r)
        tree(n-1,x)
        tu.left(l+r)
        tree(n-1, x)
        tu.right(l)
    else:
        tu.right(90)
        flower()
        tu.left(90)
        tu.pu()
        t=tu.heading()
        s=-ra.random()
        tu.setheading(s)
        x=ra.randint(1,5)
        tu.forward(x)
        tu.setheading(t)
        tu.pd()
        tu.right(90)
        flower()
        tu.left(90)
        tu.pu()
        t=tu.heading()
        tu.setheading(s)
        tu.backward(x)
        tu.setheading(t)
    tu.penup()
    tu.backward(k) 
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

2.3 主函数

最后，我们需要一个主函数来实现樱花树

tu.setup(800,480)
tu.bgcolor("lavenderblush") 
tu.hideturtle()  
tu.tracer(0)
tu.penup()  
tu.goto(0,-150)
tu.pendown()
tu.left(90)  
tree(12,50)
for i in range(99):
    tu.penup()
    tu.goto(ra.randint(-150,150),ra.randint(-150,0))
    tu.pendown()
    flower()
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

2.4 程序分析

让我们具体分析一下樱花树的代码吧！

  1. 导入turtle和random库
import turtle as tu
import random as ra
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

在代码中使用了turtle库进行绘图，以及random库随机生成数值。

  1. 定义flower函数
def flower():  
    tu.hideturtle() 
    tu.pensize(2)  
    tu.pencolor("pink")
    flowersize = ra.randint(1,5)  
    for j in range(5):  
        tu.forward(int(flowersize))
        tu.backward(int(flowersize))
        tu.right(72)
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

flower函数用于画出一个花朵。首先，将turtle隐藏、设置笔尺寸和颜色。然后用随机数生成花朵的大小，并循环绘制5个花瓣。

  1. 定义tree函数
def tree(n,k):
    tu.pendown()  
    tu.pencolor("black")
    tu.pensize(n/4)
    tu.forward(k)  
    if n>0:
        r=ra.random()*10+10
        l=ra.random()*10+10
        x=k*(ra.random()*0.25+0.7)  
        tu.right(r)
        tree(n-1,x)
        tu.left(l+r)
        tree(n-1, x)
        tu.right(l)
    else:
        tu.right(90)
        flower()
        tu.left(90)
        tu.pu()
        t=tu.heading()
        s=-ra.random()
        tu.setheading(s)
        x=ra.randint(1,5)
        tu.forward(x)
        tu.setheading(t)
        tu.pd()
        tu.right(90)
        flower()
        tu.left(90)
        tu.pu()
        t=tu.heading()
        tu.setheading(s)
        tu.backward(x)
        tu.setheading(t)
    tu.penup()
    tu.backward(k) 
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

tree函数用于画出一棵树。参数n表示树干的级数，k表示树干的长度。在函数中，先将turtle设置为下笔状态、设置颜色和笔尺寸，并绘制树干。如果n>0，则用随机数生成分支的角度、长度和随机缩放系数，然后右转角度r，递归调用tree函数绘制右侧分支，左转角度l+r，递归调用tree函数绘制左侧分支，最后右转角度l还原角度。若n=0，代表树干到顶了，需要绘制花瓣。绘制两个花朵，之间的距离和之后后退的距离通过随机数生成。之后将turtle设置为抬笔状态，退回树干的起始位置，以准备绘制另一棵树。

  1. 设置画布
tu.setup(800,480)
tu.bgcolor("lavenderblush") 
tu.hideturtle()  
tu.tracer(0)
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

这段代码对画布进行初始化设置，包括画布的大小、背景颜色，以及turtle的初始状态和绘图速度。

  1. 绘制树和花朵
tu.penup()  
tu.goto(0,-150)
tu.pendown()
tu.left(90)  
tree(12,50)
for i in range(99):
    tu.penup()
    tu.goto(ra.randint(-150,150),ra.randint(-150,0))
    tu.pendown()
    flower()
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

这段代码调用了tree函数来绘制一棵12级的树，以及其中的花朵。之后，绘制99个随机位置和大小的花朵。

  1. 完成绘图
tu.done()
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

最后用done函数表示绘图结束。

2.5 樱花林

一棵樱花树怎么够呢，合理运用循环语句，准备一场樱花林送给她吧！

樱花秀1
樱花秀2

for i in range(20):
    tu.penup()  
    tu.goto(ra.randint(-300,300),ra.randint(-150,0))
    tu.pendown()
    tu.left(90)  
    tree(8,30)
    tu.setheading(0)
    ……
 class="hljs-button signin" data-title="登录后复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

尾声

小伙伴们咱们下期见喔！

id="blogExtensionBox" style="width:400px;margin:auto;margin-top:12px" class="blog-extension-box"> class="blog_extension blog_extension_type1" id="blog_extension"> class="blog_extension_card" data-report-click="{"spm":"1001.2101.3001.6470"}"> class="blog_extension_card_left"> class="blog_extension_card_cont"> class="blog_extension_card_cont_l"> Want595 class="blog_extension_card_cont_r"> 微信公众号 获取源码丨商务合作丨交流讨论
注：本文转载自blog.csdn.net的Bob Liu的文章"http://blog.csdn.net/jinguangliu/article/details/77916825"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
复制链接
复制链接
相关推荐
发表评论

评论记录：

未查询到任何数据！