常用的华为FusionInsight C60U10中各组件的版本,以此作为兼容参考:
HDFS:2.7.2
Hive:1.3.0
HBase:1.0.2
Spark:1.5.1
Solr:5.3.1
Flume:1.6.0
Kafka:2.10-0.10.0.0
Storm:0.10.0
Hue:3.9.0
Redis:3.0.5
Oozie:4.2.0
Sqoop-1.99.3
其他:MetaData:0.0.1 KrbServer:1.10.7 LdapServer:1.0.0 FTP-Server:0.0.1
本文配置:Redhat6.5、JDK-jdk1.7.0_79 、storm-1.0.2
Storm集群机器:HMaster、HData01、HData02
详细步骤如下:
1.下载storm版本包 https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.0.2/apache-storm-1.0.2.tar.gz
我的计划安装目录: /home/hadoop/BigData/storm-1.0.2
$ tar zxvf apache-storm-1.0.2.tar.gz /home/hadoop/BigData/ $ mv /home/hadoop/BigData/apache-storm-1.0.2 /home/hadoop/BigData/storm-1.0.2
2.配置Storm(选一台机器作为主节点,比如HMaster,主节点即是有NimBus)
Step2.1 配置storm.yaml
$ vi /home/hadoop/BigData/storm-1.0.2/conf/storm.yaml 参考如下: orm.zookeeper.servers: - "192.168.111.140" - "192.168.111.141" - "192.168.111.142" storm.zookeeper.port:2181 nimbus.seeds:["HMaster"] storm.local.dir: "/home/hadoop/tmp/storm" supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 ui.port: 9099
Step2.2. 复制cluster.xml,放到storm目录下最好,否则启动进程容易报错。
$ cp /home/hadoop/BigData/storm-1.0.2/log4j2/cluster.xml /home/hadoop/BigData/storm-1.0.2/
其中,如配置所示,如果zookeeper的端口不是默认2181,需要在storm.zookeeper.port中标明
3.配置子节点
$ scp -r /home/hadoop/BigData/storm-1.0.2 hadoop@HData01:/home/hadoop/BigData/ $ scp -r /home/hadoop/BigData/storm-1.0.2 hadoop@HData02:/home/hadoop/BigData/
4.配置节点环境变量 vi .bash_profile参考如下:
export STORM_HOME=/home/hadoop/BigData/storm-1.0.2 export PATH=$PATH:$STORM_HOME/bin
5.启动Storm
在HMaster上启动Nimbus
$ /home/hadoop/BigData/storm-1.0.2/bin/storm nimbus &
#启动管理界面Web UI
$ /home/hadoop/BigData/storm-1.0.2/bin/storm ui &
在HMaster、HData01、HData02上执行以启Supervisor
$ /home/hadoop/BigData/storm-1.0.2/bin/storm supervisor &
说明:需要分别到每个节点启动服务。管理界面将运行在启动它的服务器的8080端口,日志文件在程序目录中logs文件夹下。上面的启动方式是在前台运行的,如果需要在后台运行,可以使用类似nohup /opt/apache-storm-1.0.0/bin/storm nimbus &的方式运行。
我的Storm的ui端口 9099配置在storm.yaml的ui.port: 9099