0、hadoop3.1.4的centos7-snappy编译一、前提二、操作步骤

本文介绍hadoop 3.1.4版本在centos 7的环境中编译步骤。

本示例是以root用户进行操作的，如果非root用户可能会需要root权限。

目录

一、前提

1、查看操作系统能够版本

2、准备好编译所需要的环境

3、网络可以连接外网

二、操作步骤

1、安装gcc相关

2、手动安装cmake

3、手动安装snappy

4、安装配置JDK 1.8

5、安装配置maven

6、安装ProtocolBuffer 2.5.0

7、编译hadoop

8、编译之后的安装包路径

一、前提

1、查看操作系统能够版本

  1. # 查看操作系统版本：
  2. cat /etc/issue

2、准备好编译所需要的环境

apache-maven-3.5.4-bin.tar.gz

cmake-3.13.5.tar.gz

protobuf-2.5.0.tar.gz

snappy-1.1.3.tar.gz

jdk-8u65-linux-x64.tar.gz

hadoop-3.1.4-src.tar.gz

3、网络可以连接外网

二、操作步骤

1、安装gcc相关

  1. 1、yum install gcc gcc-c++ -y
  2.  
  3. #下面这个命令不需要执行 手动安装cmake
  4. 2、yum install make cmake  #(这里cmake版本推荐为3.6版本以上，版本低源码无法编译！可手动安装)
  5.  
  6. 3、yum install autoconf automake libtool curl -y
  7.  
  8. 4、yum install lzo-devel zlib-devel openssl openssl-devel ncurses-devel -y
  9.  
  10. 5、yum install snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst -y

2、手动安装cmake

  1. # yum卸载已安装cmake 版本低
  2. yum erase cmake
  3.  
  4. # 解压
  5. tar zxvf cmake-3.13.5.tar.gz
  6.  
  7. # 编译安装
  8. cd /home/alanchan/tools/cmake-3.13.5
  9.  
  10. ./configure
  11.  
  12. make && make install
  13.  
  14. # 验证
  15. [root@dev-525 ~]# cmake -version  
  16. cmake version 3.13.5
  17.  
  18. #如果没有正确显示版本 请断开SSH连接 重新登录

3、手动安装snappy

  1. # 卸载已经安装的
  2. cd /usr/local/lib
  3.  
  4. rm -rf libsnappy*
  5.  
  6. # 上传解压
  7. tar zxvf snappy-1.1.3.tar.gz 
  8.  
  9. #编译安装
  10. cd /home/alanchan/tools/snappy-1.1.3
  11.  
  12. ./configure
  13.  
  14. make && make install
  15.  
  16. #验证是否安装
  17. [root@dev-525 ~]# ls -lh /usr/local/lib |grep snappy
  18. -rw-r--r-- 1 root root 511K Sep 27 14:59 libsnappy.a
  19. -rwxr-xr-x 1 root root  955 Sep 27 14:59 libsnappy.la
  20. lrwxrwxrwx 1 root root   18 Sep 27 14:59 libsnappy.so -> libsnappy.so.1.3.0
  21. lrwxrwxrwx 1 root root   18 Sep 27 14:59 libsnappy.so.1 -> libsnappy.so.1.3.0
  22. -rwxr-xr-x 1 root root 253K Sep 27 14:59 libsnappy.so.1.3.0

4、安装配置JDK 1.8

  1. # 解压安装包
  2. tar zxvf jdk-8u65-linux-x64.tar.gz
  3.  
  4. # 配置环境变量
  5. vim /etc/profile
  6.  
  7. export JAVA_HOME=/home/alanchan/tools/jdk1.8.0_65
  8. export PATH=$PATH:$JAVA_HOME/bin
  9. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  10.  
  11. source /etc/profile
  12.  
  13. # 验证是否安装成功
  14. java -version
  15.  
  16. java version "1.8.0_65"
  17. Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
  18. Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
  19. You have new mail in /var/spool/mail/root

5、安装配置maven

  1. # 解压安装包
  2. tar zxvf apache-maven-3.5.4-bin.tar.gz
  3.  
  4. # 配置环境变量
  5. vim /etc/profile
  6.  
  7. export MAVEN_HOME=/home/alanchan/tools/apache-maven-3.5.4
  8. export MAVEN_OPTS="-Xms4096m -Xmx4096m"
  9. export PATH=:$MAVEN_HOME/bin:$PATH
  10.  
  11. source /etc/profile
  12.  
  13. # 验证是否安装成功
  14. [root@dev-525 ~]# mvn -v
  15. Apache Maven 3.5.4 (1edded0938998edf8bf061f1ceb3cfdeccf443fe; 2018-06-18T02:33:14+08:00)
  16. Maven home: /home/alanchan/tools/apache-maven-3.5.4
  17. Java version: 1.8.0_65, vendor: Oracle Corporation, runtime: /home/alanchan/tools/jdk1.8.0_65/jre
  18. Default locale: en_US, platform encoding: UTF-8
  19. OS name: "linux", version: "3.10.0-1160.el7.x86_64", arch: "amd64", family: "unix"
  20.  
  21.  
  22. # 添加maven 阿里云仓库地址加快国内编译速度，也可以不添加
  23. vim /home/alanchan/tools/apache-maven-3.5.4/conf/settings.xml
  24.  
  26.      
  27.            <id>alimaven
  28.            aliyun maven
  29.            http://maven.aliyun.com/nexus/content/groups/public/
  30.            central
  31.

6、安装ProtocolBuffer 2.5.0

  1. # 解压
  2. tar zxvf protobuf-2.5.0.tar.gz
  3.  
  4. # 编译安装
  5. cd /home/alanchan/tools/protobuf-2.5.0
  6. ./configure
  7. make && make install
  8.  
  9. #验证是否安装成功
  10. [root@dev-525 ~]# protoc --version
  11. libprotoc 2.5.0

7、编译hadoop

  1. # 上传解压源码包
  2. tar zxvf hadoop-3.1.4-src.tar.gz
  3.  
  4. # 编译
  5. cd /home/alanchan/tools/hadoop-3.1.4-src
  6.  
  7. mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib
  8.  
  9. # 参数说明：
  10.  
  11. Pdist,native ：把重新编译生成的hadoop动态库；
  12. DskipTests ：跳过测试
  13. Dtar ：最后把文件以tar打包
  14. Dbundle.snappy ：添加snappy压缩支持【默认官网下载的是不支持的】
  15. Dsnappy.lib=/usr/local/lib ：指snappy在编译机器上安装后的库路径

8、编译之后的安装包路径

该步骤耗时较长

  1. /home/alanchan/tools/hadoop-3.1.4-src/hadoop-dist/target
  2.  
  3. hadoop-3.1.4.tar.gz是编译后的文件
  4. ...
  5. [INFO] Apache Hadoop Distribution ......................... SUCCESS [ 24.064 s]
  6. [INFO] Apache Hadoop Client Modules ....................... SUCCESS [  0.029 s]
  7. [INFO] Apache Hadoop Cloud Storage ........................ SUCCESS [  0.625 s]
  8. [INFO] Apache Hadoop Cloud Storage Project 3.1.4 .......... SUCCESS [  0.028 s]
  9. [INFO] ------------------------------------------------------------------------
  10. [INFO] BUILD SUCCESS
  11. [INFO] ------------------------------------------------------------------------
  12. [INFO] Total time: 52:02 min
  13. [INFO] Finished at: 2022-09-28T10:07:39+08:00
  14. [INFO] ------------------------------------------------------------------------
  15. [root@dev-525 ~]# cd /home/alanchan/tools/hadoop-3.1.4-src/hadoop-dist/target
  16. [root@dev-525 target]# ll
  17. total 295948
  18. drwxr-x--- 2 chenwei root        28 Sep 28 10:07 antrun
  19. drwxr-x--- 3 chenwei root        22 Sep 28 10:07 classes
  20. drwxr-x--- 9 chenwei root       149 Sep 28 10:07 hadoop-3.1.4
  21. -rw-r----- 1 chenwei root 303048995 Sep 28 10:07 hadoop-3.1.4.tar.gz
  22. drwxr-x--- 3 chenwei root        22 Sep 28 10:07 maven-shared-archive-resources
  23. drwxr-x--- 3 chenwei root        22 Sep 28 10:07 test-classes
  24. drwxr-x--- 2 chenwei root         6 Sep 28 10:07 test-dir

以上，完成了hadoop的源码编译，另外需要提醒的是，选好环境，否则因为环境会将人弄得精疲力尽。

文章知识点与官方知识档案匹配，可进一步学习相关知识
云原生入门技能树首页概览14749 人正在系统学习中
注：本文转载自blog.csdn.net的一瓢一瓢的饮 alanchan的文章"https://blog.csdn.net/chenwewi520feng/article/details/130271381"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
复制链接
相关推荐
发表评论

评论记录：

未查询到任何数据！