Pig 安装部署及MapReduce模式下测试

1.下载pig包:(pig-0.9.1)

apache版本:

2.解压文件:

# tar -zxvf pig-0.9.1.tar.gz

3.配置/etc/profit

export PIG_INSTALL=/usr/pig/pig-0.9.1 
export PATH=$PATH:$PIG_INSTALL/bin 
export PIG_Hadoop_VERSION=20      //支持hadoop版本,我的是hadoop-0.20.2 
source /etc/profile  使配置文件生效 

4.pig的本地模式这里就不多讲,主要讲hadoop模式下的一些配置

两种方式配置,主要是指明namenode和jobtracker的位置:

方式 一:写profile文件 export PIG_CLASSPATH=$HADOOP_INSTALL/conf/

方式 二:在pig目录下的conf文件夹pig.properties 中增加

fs.default.name=hdfs://hadoop149:9000/ 
mapred.job.tracker=hadoop149:9004 

5.启动pig

[root@localhost conf]# pig 

2011-12-06 17:57:48,357 [main] INFO  org.apache.pig.Main - Logging error messages to: /usr/pig/pig-0.9.1/conf/pig_1323165468355.log 

2011-12-06 17:57:48,528 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://hadoop149:9000/ 

2011-12-06 17:57:48,634 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: hadoop149:9004 

• grunt> 出现如上信息,说明pig启动成功

6 测试pig在MapReduce 模式下作业的执行

步骤一:上传passwd到hdfs文件系统 假如路径如下 /passwd

步骤二:在grunt编译器命令行依次执行如下命令

A = load '/passwd' using PigStorage(':');

B = foreach A generate $0 as id;

dump B;

在屏幕可以直接查看命令执行结果

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/19983.html