第四章、深入Hadoop2.x

搭建Hadoop2.5.0分布式环境

开始部署

（1）准备系统软件

    Centos6.4   apache: hadoop   jdk   --上传软件包（beifeng）

（2）准备系统环境

    (a)关闭selinux和防火墙        (root)
    # vi /etc/sysconfig/selinux
        SELINUX=disabled
    # chkconfig iptables off
    # service iptables stop
    (b)固定主机名            (root)
    # vi /etc/sysconfig/network
        HOSTNAME=hadoop-senior.ibeifeng.com   三台不一样
    (c)添加hosts文件             (root)
    # vi /etc/hosts     
        192.168.17.128          hadoop-senior.ibeifeng.com
        192.168.17.129          hadoop-senior02.ibeifeng.com
        192.168.17.130          hadoop-senior03.ibeifeng.com
    (d)固定IP和DNS地址
    方式1： console                (root)
    # setup
    方式2： xshell             (root)
    # vi /etc/sysconfig/network-scripts/ifcfg-eth0
        BOOTPROTO=none
        IPADDR=192.168.17.128
        NETMASK=255.255.255.0
        DNS1=202.96.209.5
        DNS2=8.8.8.8
        GATEWAY=192.168.17.2 
    # service network restart
注意：手动安装虚拟机服务器不需要修改行，而克隆虚拟机需要删除该行。

（3）配置NTP时间同步

    hadoop-senior（ntp server）  <-- hadoop-senior02 \ hadoop-senior03（ntp client）

在hadoop-senior： (root)

//修改服务器时区
# mv /etc/localtime /etc/localtime_bak
# ln -s /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime
//同步服务器时间
# ntpdate asia.pool.ntp.org
# hwclock -w
//修改ntp.conf
# vi /etc/ntp.conf
    //删除前面的#，把网段改成自己的网段
    restrict 192.168.17.0 mask 255.255.255.0 nomodify notrap
    //下面三行添加#
    #server 0.centos.pool.ntp.org
    #server 1.centos.pool.ntp.org
    #server 2.centos.pool.ntp.org
    //删除前面的#
    server  127.127.1.0     # local clock
    fudge   127.127.1.0 stratum 10  
    # service ntpd restart
    # chkconfig ntpd on

在hadoop-senior02\hadoop-senior03： (root)

# crontab -e
    */10 * * * *  /usr/sbin/ntpdate hadoop-senior.ibeifeng.com
service crond restart

4）配置SSH无密钥登录

作用：
        * scp       hadoop-senior拷贝文件到hadoop-senior02
        * start     start-dfs.sh  start-yarn.sh 
需求： hadoop-senior    --> hadoop-senior hadoop-senior02  hadoop-senior03
        hadoop-senior02  --> hadoop-senior hadoop-senior02  hadoop-senior03     
实现hadoop-senior --> hadoop-senior hadoop-senior02  hadoop-senior03： 
    在hadoop-senior :
    $ ssh-keygen -t rsa    全部回车

    从本机复制ssh-keygen -t rsa命令生成的公钥到对方服务器
    $ ssh-copy-id beifeng@hadoop-senior.ibeifeng.com
    $ ssh-copy-id beifeng@hadoop-senior02.ibeifeng.com
    $ ssh-copy-id beifeng@hadoop-senior03.ibeifeng.com

实现hadoop-senior02 --> hadoop-senior hadoop-senior02  hadoop-senior03：
    在hadoop-senior02 :
    $ ssh-keygen -t rsa    全部回车
    $ ssh-copy-id beifeng@hadoop-senior.ibeifeng.com
    $ ssh-copy-id beifeng@hadoop-senior02.ibeifeng.com
    $ ssh-copy-id beifeng@hadoop-senior03.ibeifeng.com