编译hadoop源码

Hadoop

一、准备资料

64位linux系统。我使用的是 CentOS
1、JDK 1.7+。注：使用1.7即可，如果是1.8则会编译失败，1.6没有试过，看网上大牛的帖子说也能过
2、maven-3.2.5。 这是apache的一个产品，hadoop的编译要就是3.0以上
3、protobuf 注：谷歌的产品，最好是提前百度准备一下这个文件
4、hadoop-2.5.2-src 这个可以到Apache的官网上去下载
5、安装其他依赖

二、编译hadoop源码步骤

1. 下载hadoop源码

hadoop源码下载

2.安装JDK

3.安装maven

maven下载地址

<!--解压-->
unzip apache-maven-3.0.5-bin.zi
<!--添加maven到环境变量-->
# vi /etc/profile
export MAVEN_HOME=/home/hadoop/app/apache-maven-3.0.5
export PATH=.:$MAVEN_HOME/bin:$PATH
<!--配置生效-->
# source /etc/profile
<!--验证-->
$ mvn -version

配置镜像

jar包默认从国外的网站下载可能很慢 建议在 maven根目录下的 ./confg/settings.xml 的mirrors节点下配置

<mirror>
    <id>nexus-osc</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus osc</name>
    <url>http://maven.oschina.net/content/groups/public/</url>
</mirror>

配置后maven下载jar包就会从国内的网站 oschina网站下载

域名解析服务器

# vi /etc/resolv.conf
<!--加入以下内容-->
    nameserver 8.8.8.8
    nameserver 8.8.4.4

4.安装protobuf

<!--为了编译安装protobuf，需要先gcc/gcc-c++/make-->
$ sudo yum install gcc
$ sudo yum install gcc-c++
$ sudo yum install make
<!--解压protobuf-->
$ tar -zvxf protobuf-2.5.0.tar.gz 
$ cd protobuf-2.5.0
$ ./configure --prefix=/usr/local/protoc/ 
$ sudo make
$ sudo make install
<!--添加protobuf到环境变量-->
# vi /etc/profile
export PATH=.:/usr/local/protoc/bin:$PATH
<!--配置生效-->
# source /etc/profile
<!--验证-->
protoc --version
libprotoc 2.5.0

5.安装其他依赖

$ sudo yum install cmake
$ sudo yum install openssl-devel
$ sudo yum install ncurses-devel

6.编译hadoop源代码

<!--至要编译的源码目录-->
# cd /opt/modules/hadoop-2.5.0-src
<!--编译-->
mvn package -Pdist,native -DskipTests -Dtar

查看编译成功的包

如果命令执行失败，则重新安装一次即可以。