2017-2-28 由主节点配置从节点从而构建集群

有道云笔记

主节点
改名字，改为master，hosts
改hadoop的slaves加四个xml
slaves是加一个节点就要改一次

从节点
1.新建hadoop用户，修改权限，赋予权限
ALL =...
2.改好主机名，按node01 node02……规则
3.配好ssh，保证可以通信
关防火墙，iptables stop
关selinux
自ssh可以，主对从可以免密ssh
4.用scp传jdk和hadoop到从节点的tmp目录下
可能会出现权限问题，使用tmp目录则不要紧，文件夹权限问题
5.配jdk和hadoop的环境变量
新建一个java目录，如usr/local/java，将之放入，hadoop同理
改./bashrc添加路径
改./etc/profile添加路径
source文件 重载刷新
检查：直接java和hadoop回显相关信息
6.配置hadoop
改五个文件，特别注意，从主节点cp过来的hadoop是已经配好的，无需动
slaves仍然要改
检测： reboot
start-all.sh
hadoop dfsadmin -report显示正确
jps主从点显示正常进程
要关闭安全模式
dfsadmin safemode leave

7.运行实例
在hdfs新建一个文件夹
构造一个input输入文件夹带数据
运行hadoop文件夹中share里的用例
在hdfs中ls output
get output到本地再查看内容
完成

X.配置
zookeeper
hbase
hive pig mahout
sqoop flume
Ambari

X.配置spark，依附于hadoop集群