搬瓦工 Ubuntu 20.04 上安装 Apache Spark 教程

准备工作

在开始之前，请确保您已经在搬瓦工服务器上安装了 Ubuntu 20.04 系统，并且已经配置好 SSH 连接。

更新系统

我们需要更新系统并安装必要的软件包，打开终端，执行以下命令：

sudo apt update
sudo apt upgrade

安装 Java

Apache Spark 需要 Java 环境，因此我们需要先安装 OpenJDK，执行以下命令：

sudo apt install openjdk11jdk

安装完成后，检查 Java 版本：

java version

下载 Apache Spark

接下来，我们从官方网站下载 Apache Spark 的预编译版本，这里我们选择 Apache Spark 3.1.2 版本，执行以下命令：

wget https://downloads.apache.org/spark/spark3.1.2/spark3.1.2binhadoop3.2.tgz

解压并安装 Apache Spark

将下载的文件解压到 /opt 目录下，并重命名为 spark：

sudo tar xzvf spark3.1.2binhadoop3.2.tgz C /opt
sudo mv /opt/spark3.1.2binhadoop3.2 /opt/spark

配置环境变量

为了方便使用 Spark，我们需要配置环境变量，在 ~/.bashrc 文件末尾添加以下内容：

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

保存文件后，执行以下命令使配置生效：

source ~/.bashrc

启动 Spark

现在，我们可以启动 Spark 了，执行以下命令启动 Spark master：

startmaster.sh

执行以下命令启动 Spark worker：

startworker.sh spark://localhost:7077

至此，Apache Spark 已经在您的 Ubuntu 20.04 服务器上安装完成，您可以使用 sparkshell、sparksubmit 等命令进行开发和运行 Spark 应用程序。

相关问题与解答

Q1: 如何查看 Spark Web UI？

A1: 在浏览器中输入 http://<your_server_ip>:8080，即可查看 Spark Web UI。

Q2: 如何停止 Spark？

A2: 执行以下命令停止 Spark：

stopall.sh