[Storm] 大数据开源环境搭建(集群):32.Storm

常用的华为FusionInsight C60U10中各组件的版本,以此作为兼容参考:

HDFS:2.7.2
Hive:1.3.0
HBase:1.0.2
Spark:1.5.1
Solr:5.3.1
Flume:1.6.0
Kafka:2.10-0.10.0.0
Storm:0.10.0
Hue:3.9.0
Redis:3.0.5
Oozie:4.2.0
Sqoop-1.99.3
其他:MetaData:0.0.1 KrbServer:1.10.7 LdapServer:1.0.0 FTP-Server:0.0.1

本文配置:Redhat6.5、JDK-jdk1.7.0_79 、storm-1.0.2

Storm集群机器:HMaster、HData01、HData02

详细步骤如下:

1.下载storm版本包 https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.0.2/apache-storm-1.0.2.tar.gz
我的计划安装目录: /home/hadoop/BigData/storm-1.0.2

$ tar zxvf apache-storm-1.0.2.tar.gz /home/hadoop/BigData/
$ mv /home/hadoop/BigData/apache-storm-1.0.2 /home/hadoop/BigData/storm-1.0.2

 

2.配置Storm(选一台机器作为主节点,比如HMaster,主节点即是有NimBus)
Step2.1 配置storm.yaml

$ vi /home/hadoop/BigData/storm-1.0.2/conf/storm.yaml 参考如下:

orm.zookeeper.servers:
- "192.168.111.140"
- "192.168.111.141"
- "192.168.111.142"

storm.zookeeper.port:2181

nimbus.seeds:["HMaster"]

storm.local.dir: "/home/hadoop/tmp/storm"

supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

ui.port: 9099

 

Step2.2. 复制cluster.xml,放到storm目录下最好,否则启动进程容易报错。

$ cp /home/hadoop/BigData/storm-1.0.2/log4j2/cluster.xml /home/hadoop/BigData/storm-1.0.2/

其中,如配置所示,如果zookeeper的端口不是默认2181,需要在storm.zookeeper.port中标明

 

3.配置子节点

$ scp -r /home/hadoop/BigData/storm-1.0.2 hadoop@HData01:/home/hadoop/BigData/
$ scp -r /home/hadoop/BigData/storm-1.0.2 hadoop@HData02:/home/hadoop/BigData/

 

4.配置节点环境变量 vi .bash_profile参考如下:

export STORM_HOME=/home/hadoop/BigData/storm-1.0.2
export PATH=$PATH:$STORM_HOME/bin

 

5.启动Storm
在HMaster上启动Nimbus

$ /home/hadoop/BigData/storm-1.0.2/bin/storm nimbus &

#启动管理界面Web UI

$ /home/hadoop/BigData/storm-1.0.2/bin/storm ui &

在HMaster、HData01、HData02上执行以启Supervisor

$ /home/hadoop/BigData/storm-1.0.2/bin/storm supervisor &

说明:需要分别到每个节点启动服务。管理界面将运行在启动它的服务器的8080端口,日志文件在程序目录中logs文件夹下。上面的启动方式是在前台运行的,如果需要在后台运行,可以使用类似nohup /opt/apache-storm-1.0.0/bin/storm nimbus &的方式运行。
我的Storm的ui端口 9099配置在storm.yaml的ui.port: 9099

分类上一篇:     分类下一篇:无,已是最新文章

Leave a Reply