2017-3-13 Spark安装之问题

有道云笔记

厦门大学数据库实验室教程
有几个坑

SparkSQL context 在执行sql语句时，现在使用spark.sql()替换sqlContext.sal()

sparkapp使用sbt打包
simple.sbt
直接使用教程中的sbt依赖版本即可，即此处无所谓，不过最好是和本机配置版本一致
sbt package
打包运行时一定要注意联网！！
注意执行此打包命令的位置，要在sparkapp目录下！！
即在有simple.sbt的目录位置执行sbt package命令

spark.sql
执行时目前需要开启hadoop，原理未知，不开会报错

sbt
第一次安装时，直接官网下，现在教程中说的bug已经没有了，会卡住无输出，是正常的，时间非常慢！
第一次打包时，下载的依赖非常多，不断输出，但非常慢！

完成次教程全部都在①台机器上
还未进行集群配置