[关闭]
@yanbo-ai 2014-11-06T06:58:48.000000Z 字数 580 阅读 2885

Spark run start-all.sh using password-less ssh

Spark 提供了独立版本的(不依赖任何其他工具)的集群方式,我们可以通过 start-all.sh 来启动一个 Spark 集群:

  1. ./sbin/start-all.sh

当执行上面这个脚本时,交互窗口会有提示你输入每个 worker 的登录密码。这是因为 Spark 在启动远程机器上的 worker 时需要登录到该机器上。

Spark 文档的上的 Cluster Launch Scripts 章节上说到可以使用 password-less ssh 的方式登录远程 worker 主机。

设置 password-less ssh 的方式如下:

注意:因环境不同,你可能还需要更改远程 worker 上 .ssh 文件目录和 authorized_keys 的权限,像下面这样:

  1. chmod 755 ~/.ssh
  2. chmod 644 ~/.ssh/authorized_keys
添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注