[HD] Hadoop开源环境搭建(集群模式):11.Pig

常用的华为FusionInsight C60U10中各组件的版本,以此作为兼容参考:

HDFS:2.7.2
Hive:1.3.0
HBase:1.0.2
Spark:1.5.1
Solr:5.3.1
Flume:1.6.0
Kafka:2.10-0.10.0.0
Storm:0.10.0
Hue:3.9.0
Redis:3.0.5

本文配置:Redhat6.5、JDK-jdk1.7.0_79 、Hadoop-hadoop-2.7.3、apache-hive-2.1.1、hbase-1.2.4-bin、Pig

详细步骤如下

 

1.下载并解压.下载路径:http://pig.apache.org/releases.html

$ tar zxvf pig-0.16.0.tar.gz -C /usr/local

 

2.设置环境变量 vi .bash_profile(如有root可选择/etc/profile)

export PIG_INSTALL=/usr/local/pig-0.16.0
export PATH=$PATH:$PIG_INSTALL/bin

 

3.使用Pig
使用Pig前要先启动hadoop的historyServer

$ cd /home/hadoop/hadoop-2.7.3/sbin
$ sh mr-jobhistory-daemon.sh start historyserver

jps中会出现JobHistoryServe进程

这里给出一个pig示例,入库并统计

分类上一篇:无,已是最新文章    分类下一篇:无,已是最新文章

Leave a Reply