[HD] Hadoop开源环境搭建(集群模式):4.Spark

常用的华为FusionInsight C60U10中各组件的版本,以此作为兼容参考:

HDFS:2.7.2
Hive:1.3.0
HBase:1.0.2
Spark:1.5.1
Solr:5.3.1
Flume:1.6.0
Kafka:2.10-0.10.0.0
Storm:0.10.0
Hue:3.9.0
Redis:3.0.5
Oozie:4.2.0
Sqoop-1.99.3
其他:MetaData:0.0.1 KrbServer:1.10.7 LdapServer:1.0.0 FTP-Server:0.0.1

本文配置:Redhat6.5、JDK-jdk1.7.0_79 、Scala-2.11.0、Hadoop-hadoop-2.7.3、apache-hive-2.1.1、hbase-1.2.4-bin、Spark-2.1.0

•一、Scala 安装
•二、配置Hue
•三、使用Hue

详细步骤如下:

一、Scala 安装
1.下载 scala-2.11.0.tgz, 解压到/usr/local/

$ tar zxvf scala-2.11.0.tgz -C /usr/local/

 

2.修改环境变量文件/etc/profile , 添加以下内容。

###############
### Env--Scala
###############
export SCALA_HOME=/usr/local/scala-2.11.0
export PATH=$PATH:$SCALA_HOME/bin

 

二、Spark 安装
1.下载 spark-2.1.0-bin-hadoop2.7.tgz
我的计划安装目录 /home/hadoop/spark-2.1.0 解压并重命名
2.修改环境变量文件 .bash_profile , 添加以下内容。(所有机器)

export SPARK_HOME=/home/hadoop/BigData/spark-2.1.0
export PATH=$PATH:${SPARK_HOME}/bin

 

3.Spark 配置
进入 Spark 安装目录下的 conf 目录, 编辑spark-env.sh、slaves,操作如下:

$ cd /home/hadoop/BigData/spark-2.1.0/conf
$ cp spark-env.sh.template spark-env.sh #参考内容如下:
export SCALA_HOME=/usr/local/scala-2.11.0
export JAVA_HOME=/usr/local/jdk1.7.0_79
export SPARK_WORKER_MEMORY=2G
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.3/etc/hadoop
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/iteblog/com/mysql-connector-java-5.1.35.jar

$ cp slaves.template slaves #参考内容如下:
HMaster
Hdata01
Hdata02

 

4.子节点的安装和配置,scp到子节点上,目录一样

$ scp -r /home/hadoop/BigData/spark-2.1.0 hadoop@HData01://home/hadoop/BigData/
$ scp -r /home/hadoop/BigData/spark-2.1.0 hadoop@HData02://home/hadoop/BigData/

 

三、启动 Spark 集群
1.前提是hdfs、hive、hbase等关联服务都已OK,启动和停止命令如下:

$ cd /home/hadoop/BigData/spark-2.1.0/sbin
$ sh start-all.sh 启动
$ sh stop-all.sh 停止

 

2.spark集群web管理页面:http://192.168.0.112:8080/

 

四、Spark-SQL命令行的使用

$ cd /home/hadoop/BigData/spark-2.1.0/bin
$ ./spark-sql --master spark://192.168.111.140:7077 --executor-memory 6g
分类上一篇:     分类下一篇:

Leave a Reply