ubuntu16.04配置SPARK-bench

先看官网:直达链接
运行SPARK-bench需要配置java环境和spark环境。具体可以google。这里简单介绍一下。

java环境配置

1. 下载jdk包：jdk8
2. 解压文件

   $ tar -xvf jdk-8u201-linux-x64.tar.gz
   $ sudo mkdir /usr/lib/jdk
   $ mv jdk1.8.0_201 /usr/lib/jdk/

3. 配置环境变量
   在/etc/profile添加以下内容

   #set java environment
   export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_201
   export JRE_HOME=${JAVA_HOME}/jre
   export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
   export PATH=${JAVA_HOME}/bin:$PATH

   如果只是对当前用户更改环境变量，可以在~/.bashrc中修改。

spark环境配置

1. 下载spark：spark
2. 解压文件

   $ tar -xvf spark-2.4.1-bin-hadoop2.7.tgz
   $ sudo mkdir /usr/lib/spark
   $ sudo mv spark-2.4.1-bin-hadoop2.7 /usr/lib/spark/

3. 配置环境变量
   在/etc/profile添加以下内容

   #set spark environment
   export SPARK_HOME=/usr/lib/spark/spark-2.4.1-bin-hadoop2.7
   export PATH=${SPARK_HOME}/bin:$PATH

   如果只是对当前用户更改环境变量，可以在~/.bashrc中修改。

配置Spark-Bench

1. 下载spark-bench：releases page on Github
2. 解压

   $ tar -xvf spark-bench_2.3.0_0.4.0-RELEASE_99.tgz

3. 配置环境变量：
   • 第一种方式：设置bash环境变量
     修改bin/spark-bench-env.sh文件中的SPARK_HOME 和 SPARK_MASTER_HOST变量。
   • 第二种方式：修改配置文件(推荐)
     参考官方文档
4. 运行