先看官网:直达链接
运行SPARK-bench需要配置java环境和spark环境。具体可以google。这里简单介绍一下。
java环境配置
- 下载jdk包:jdk8
- 解压文件
1
2
3 $ tar -xvf jdk-8u201-linux-x64.tar.gz
$ sudo mkdir /usr/lib/jdk
$ mv jdk1.8.0_201 /usr/lib/jdk/
配置环境变量
在/etc/profile添加以下内容1
2
3
4
5#set java environment
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_201
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH如果只是对当前用户更改环境变量,可以在
~/.bashrc
中修改。
spark环境配置
- 下载spark:spark
- 解压文件
1
2
3 $ tar -xvf spark-2.4.1-bin-hadoop2.7.tgz
$ sudo mkdir /usr/lib/spark
$ sudo mv spark-2.4.1-bin-hadoop2.7 /usr/lib/spark/
配置环境变量
在/etc/profile添加以下内容1
2
3#set spark environment
export SPARK_HOME=/usr/lib/spark/spark-2.4.1-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH如果只是对当前用户更改环境变量,可以在
~/.bashrc
中修改。
配置Spark-Bench
- 下载spark-bench:releases page on Github
- 解压
1 $ tar -xvf spark-bench_2.3.0_0.4.0-RELEASE_99.tgz
- 配置环境变量:
- 第一种方式:设置bash环境变量
修改bin/spark-bench-env.sh
文件中的SPARK_HOME
和SPARK_MASTER_HOST
变量。 - 第二种方式:修改配置文件(推荐)
参考官方文档
- 第一种方式:设置bash环境变量
- 运行