[关闭]
@linux1s1s 2018-02-07T07:18:33.000000Z 字数 2108 阅读 814

Ubuntu16.0.4 伪分布式配置 Hadoop 2.6.5

Big-Data 2018-01


此文记录了配置Hadoop2.6.5的详细过程,其间参考网络上的相关文章,这里先申明.

JDK配置

对于java开发,JDK配置是第一步,相关文章也很多,这里贴出来~/.bashrc的配置文件即可

  1. export JAVA_HOME=/usr/lib/jvm/java-8-oracle
  2. export JRE_HOME=${JAVA_HOME}/jre
  3. export CLASSPATH=.:${JAVA_HOME}/Lib:${JRE_HOME}/lib
  4. export PATH=${JAVA_HOME}/bin:$PATH

验证是否配置成功,只需要在终端中输入以下脚本,如果给出版本提示表示配置完成.

  1. java -version

Hadoop准备工作

生成Hadoop环境用户

首先为Hadoop环境单独配置用户,并获得root权限,如图所示:

此处输入图片的描述

为了方便读者输入,给出脚本如下:

  1. $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell
  2. $ sudo passwd hadoop #为hadoop用户设置密码,之后需要连续输入两次密码
  3. $ sudo adduser hadoop sudo #为hadoop用户增加管理员权限
  4. $ su - hadoop #切换当前用户为用户hadoop
  5. $ sudo apt-get update #更新hadoop用户的apt,方便后面的安装

配置SSH免密码登录

为了集群配置方便,设置无密码登录,如下图所示:

此处输入图片的描述
此处输入图片的描述

  1. $ sudo apt-get install openssh-server #安装SSH server
  2. $ ssh localhost #登陆SSH,第一次登陆输入yes
  3. $ exit #退出登录的ssh localhost
  4. $ cd ~/.ssh/ #如果没法进入该目录,执行一次ssh localhost
  5. $ ssh-keygen -t rsa  

安装Hadoop

下载 Hadoop

  1. $ sudo tar -zxvf hadoop-2.6.5.tar.gz -C /usr/local #解压到/usr/local目录下
  2. $ cd /usr/local
  3. $ sudo mv hadoop-2.6.5 hadoop #重命名为hadoop
  4. $ sudo chown -R hadoop ./hadoop #修改文件权限

然后在~/.bashrc中配置Hadoop环境变量

  1. export HADOOP_HOME=/usr/local/hadoop
  2. export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
  3. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  4. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

完成以后,在终端中输入以下脚本使其生效

  1. source ~/.bashrc

伪分布式配置

修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件,将java路径添加到该文件中

  1. export JAVA_HOME=/usr/lib/jvm/java-8-oracle

修改/usr/local/hadoop/etc/hadoop/core-site.xml文件

  1. <configuration>
  2. <property>
  3. <name>hadoop.tmp.dir</name>
  4. <value>file:/usr/local/hadoop/tmp</value>
  5. <description>Abase for other temporary directories.</description>
  6. </property>
  7. <property>
  8. <name>fs.defaultFS</name>
  9. <value>hdfs://localhost:9000</value>
  10. </property>
  11. </configuration>

修改/usr/local/hadoop/etc/hadoop/hdfs-site.xml

  1. <configuration>
  2. <property>
  3. <name>dfs.replication</name>
  4. <value>1</value>
  5. </property>
  6. <property>
  7. <name>dfs.namenode.name.dir</name>
  8. <value>file:/usr/local/hadoop/tmp/dfs/name</value>
  9. </property>
  10. <property>
  11. <name>dfs.datanode.data.dir</name>
  12. <value>file:/usr/local/hadoop/tmp/dfs/data</value>
  13. </property>
  14. </configuration>

格式化NameNode
此处输入图片的描述
此处输入图片的描述

在地址栏中输入: http://localhost:50070/

此处输入图片的描述

终止

此处输入图片的描述

对于Yarn配置,可以参考博文 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注