[关闭]
@Arslan6and6 2016-05-02T06:05:01.000000Z 字数 1389 阅读 651

【作业二】殷杰

第三章、初识Hadoop 2.x

---Hadoop 2.x源码编译

1、作业描述:
依据课堂讲解如何对 Hadoop 2.x 源码进行编译的步骤,自己动手编译 Hadoop 2.x 源码。
以下几点注意事项:
1)整个过程以截图、文字和命令描述在 Word 文档中进行
2)编译 Hadoop 2.x 很多注意事项,尤其是准备环境,网络是关键
3)编译过程中,如果遇到错误,再重新进行执行编译命令(多数错误是由于网络下载依赖 JAR
包导致)
1. 安装JDK 配置环境变量

vi /etc/profile

JAVA HOME

JAVA_HOME=/opt/modules/jdk1.7.0_67
PATH=JAVA_HOME/bin
验证:
17.png-12.2kB

2.安装MAVEN 配置环境变量

vi /etc/profile

MAVEN_HOME

MAVEN_HOME=/opt/modules/apache-maven-3.0.5
PATH=MAVEN_HOME/bin
验证:
18.png-26.7kB

  1. 安装protobuf 配置环境变量

yum install gcc

yum install gcc-c++

yum install make

tar -zxf protobuf-2.5.0.tar.gz -C /opt/modules/

cd protobuf-2.5.0

cd /opt/modules/protobuf-2.5.0/

./configure --prefix=/usr/local/protoc/

make

make install

vi /home/beifeng/.bash_profile

export PATH=.:/usr/local/protoc/bin:$PATH

source /home/beifeng/.bash_profile

验证:
19.png-4.7kB
4安装其他依赖

yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl –devel

yum -y install ncurses-devel

安装ant:

tar apache-ant-1.9.4-bin.tar.gz -C /opt/modules/

vi /etc/profile

ANT_HOME

ANT_HOME=/opt/modules/apache-ant-1.9.4
PATH=ANT_HOME/bin
验证:
20.png-6.7kB

安装findbugs:

tar findbugs-1.3.9.tar.gz -c /opt/modules/

vi /etc/profile

FINDBUGS_HOME

FINDBUGS_HOME=/opt/modules/findbugs-1.3.9
PATH=FINDBUGS_HOME/bin
验证:
21.png-4.2kB

  1. 编译hadoop源代码

tar -zxf hadoop-2.5.0-src.tar.gz -C /opt/modules/

cd /opt/modules/hadoop-2.5.0-src/

mvn clean install

mvn package -Pdist,native -DskipTests –Dtar

-Dtar 意思是编译完之后打包成tar,不加此参数编译出来的会是个目录
22.png-11kB
编译成功后, hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0.tar.gz 就是我们需要的文件,以后要搭建hadoop环境直接使用hadoop-2.5.0文件夹部署即可

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注