[关闭]
@linux1s1s 2018-02-12T08:22:17.000000Z 字数 1047 阅读 873

搭建Spark 2.2.1 基于Hadoop 2.6.5 和 Ubuntu 16.0.4 记录

Big-Data 2018-02


安装Scala

  1. sudo apt-get install scala

然后终端输入scala -version验证scala版本即可.

如果没有任何提示,可以把scala的路径配置到环境变量中去,默认安装在/usr/share/scala-2.11

打开配置文件~/.bashrc, 新加入以下配置路径

  1. export SCALA_HOME=/usr/share/scala-2.11
  2. export PATH=$PATH:$SCALA_HOME/bin

然后终端输入source ~/.bashrc,使前面的配置生效.

下载Spark

在Spark下载页面选择已经配置好的Hadoop版本, 然后下载Spark,只有解压到/usr/local目录下即可

  1. sudo tar -xzvf /home/mutex/Downloads/spark-2.2.1-bin-hadoop2.6.tgz -C /usr/local/

配置Spark

打开配置文件~/.bashrc, 新加入以下配置路径

  1. export SPARK_HOME=/usr/local/spark-2.2.1-bin-hadoop2.6
  2. export PATH=$PATH:$SPARK_HOME/bin

然后终端输入source ~/.bashrc,使前面的配置生效.

进入到conf目录,生成并配置spark-env.sh文件

  1. cd $SPARK_HOME/conf
  2. cp spark-env.sh.template spark-env.sh
  3. sudo vim spark-env.sh

新增以下配置路径

  1. export JAVA_HOME=/usr/lib/jvm/java-8-oracle
  2. export SCALA_HOME=/usr/local/spark-2.2.1-bin-hadoop2.6
  3. export SPARK_MASTER_IP=master
  4. export SPARK_WORKER_MEMORY=4G

启动Spark

  1. $SPARK_HOME/sbin/start-all.sh
  2. jps

此处输入图片的描述

在浏览器中输入http://localhost:8080/如图看到有worker表示搭建完成.

此处输入图片的描述

简单例子

  1. hadoop@mutex-dl:/usr/local/spark-2.2.1-bin-hadoop2.6/conf$ run-example SparkPi

直接给出结果:

  1. Pi is roughly 3.135395676978385
添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注