作业一【Hadoop伪分布式环境搭建测试】北风网大数据培训

北风网大数据培训

在此处输入标题

标签（空格分隔）： 未分类

作业一【Hadoop伪分布式环境搭建测试】北风网大数据培训

一）安装软件

#安装vsftpd
yum -y install openssh vsftpd
#启动vsftpd
service vsftpd start
chkconfig vsftpd on

二）设置网络

#修改主机名
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=njt.song.study
#修改网卡
vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=none
IPADDR=192.168.18.132
NETMASK=255.255.255.0
GATEWAY=192.168.18.2
DNS1=202.96.209.5
DNS2=8.8.8.8
#关闭防火墙
service iptables stop
chkconfig iptables off
#关闭SELINUX
vi /etc/sysconfig/selinux
SELINUX=disabled enforing
#设置hostname
vi /etc/hosts
127.0.0.1 njt.song.study
::1 njt.song.study
192.168.18.132 njt.song.study

一、时区显示时区

date --help 获取帮助
date -R
date +%z
上面两个命令都可
修改时区

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
ntpdate asia.pool.ntp.org #同步时间
#启动时间服务
service ntpd start

时区的信息存在/usr/share/zoneinfo/下面，本机的时区信息存在/etc/localtime，利用tab键技巧，可以任意修改时区
时间概念：Linux时间有两个
系统时间：也叫软件时间(sys)， 1970年1月1日到当前时间的秒数
BOIS时间：也叫硬件时间(hc)

三） 拷贝jdk和hadoop

# 建立目录
mkdir /opt/modules
#设置目录权限
chown -R sjf:sjf /opt/modules
cp jdk-7u67-linux-x64.tar.gz /opt/modules
cp cp hadoop-2.5.0.tar.gz /opt/modules/ 
cd /opt/modules
tar zxvf jdk-7u67-linux-x64.tar.gz
tar zxvf hadoop-2.5.0.tar.gz

 #设置JDK环境
 vi /etc/profile
 export JAVA_HOME=/opt/modules/jdk1.7.0_67
 export CLASSPATH="$CLASSPATH:$JAVA_HOME/lib"
 export M2_HOME=/opt/modules/apache-maven-3.0.5
 export PATH="$PATH:$JAVA_HOME/bin:$M2_HOME/bin"
 source /etc/profile
 #测试JDK是否安装成功
 java -version
 #修改maven配置
 vi /opt/modules/apache-maven-3.0.5/conf/settings.xml
 <localRepository>/opt/modules/repository</localRepository>

四）Java运行环境

 #修改hadoop-env.sh:
 export JAVA_HOME=/opt/modules/jdk1.7.0_67
 #修改yarn-env.sh:
 export JAVA_HOME=/opt/modules/jdk1.7.0_67
 #修改mapred-env.sh
 JAVA_HOME=/opt/modules/jdk1.7.0_67

五）修改hadoop配置文件

<!--1、修改core-site.xml-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://njt.song.study:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/modules/hadoop-2.5.0/data</value>
</property>
<!--2、修改hdfs-site.xml-->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.http-address</name>
    <value>njt.song.study:50070</value>
</property>
<!--3、修改mapred-site.xml-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>  
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>njt.song.study:19888</value>
</property>    
<!--4、yarn-site.xml-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>njt.song.study</value>
</property>    
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>86400</value>
</property>    

六)格式化HDFS

bin/hadoop namenode -format

七）启动相关服务

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
#查看启动的服务
jps
2701 ResourceManager
2610 DataNode
3157 Jps
2518 NameNode
3076 JobHistoryServer
2945 NodeManager

八）测试hdfs

bin/hdfs dfs -put /home/sjf/demo.txt /input # 上传文件
bin/hdfs dfs -ls /input #查看文件

九）测试WordCount

#上传文本文件
bin/hdfs dfs -put /home/sjf/word.txt /input
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/word.txt /output