Ubuntu16.0.4 伪分布式配置 Hadoop 2.6.5

Big-Data 2018-01

此文记录了配置Hadoop2.6.5的详细过程,其间参考网络上的相关文章,这里先申明.

JDK配置

对于java开发,JDK配置是第一步,相关文章也很多,这里贴出来~/.bashrc的配置文件即可

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/Lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

验证是否配置成功,只需要在终端中输入以下脚本,如果给出版本提示表示配置完成.

java -version

Hadoop准备工作

生成Hadoop环境用户

首先为Hadoop环境单独配置用户,并获得root权限,如图所示:

为了方便读者输入,给出脚本如下:

$ sudo useradd -m hadoop -s /bin/bash  #创建hadoop用户，并使用/bin/bash作为shell
$ sudo passwd hadoop                   #为hadoop用户设置密码，之后需要连续输入两次密码
$ sudo adduser hadoop sudo             #为hadoop用户增加管理员权限
$ su - hadoop                          #切换当前用户为用户hadoop
$ sudo apt-get update                  #更新hadoop用户的apt,方便后面的安装

配置SSH免密码登录

为了集群配置方便,设置无密码登录,如下图所示:

$ sudo apt-get install openssh-server   #安装SSH server
$ ssh localhost                         #登陆SSH，第一次登陆输入yes
$ exit                                  #退出登录的ssh localhost
$ cd ~/.ssh/                            #如果没法进入该目录，执行一次ssh localhost
$ ssh-keygen -t rsa　　

安装Hadoop

下载 Hadoop

$ sudo tar -zxvf  hadoop-2.6.5.tar.gz -C /usr/local    #解压到/usr/local目录下
$ cd /usr/local
$ sudo mv  hadoop-2.6.5    hadoop                      #重命名为hadoop
$ sudo chown -R hadoop ./hadoop                        #修改文件权限

然后在~/.bashrc中配置Hadoop环境变量

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

完成以后,在终端中输入以下脚本使其生效

source ~/.bashrc

伪分布式配置

修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件,将java路径添加到该文件中

export JAVA_HOME=/usr/lib/jvm/java-8-oracle

修改/usr/local/hadoop/etc/hadoop/core-site.xml文件

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

修改/usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

格式化NameNode

在地址栏中输入: http://localhost:50070/

终止

对于Yarn配置,可以参考博文 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04