Hadoop on Windows With Eclipse（伪分布式）(4)

1）打开Cygwin，执行以下命令

$ cd Hadoop-1.0.4 $ mkdir logs $ bin/hadoop namenode -format

2) 最后一个命令产生的输出

现在文件系统已经创建，可以继续下一步工作。

9.安装Hadoop插件

1）通过以下命令，打开eclipse-plugin文件夹

$ cd hadoop-1.0.4 $ cd contrib. $ cd eclipse-plugin $ explorer .

2) 然后把里面的hadoop-x.x.x-eclipse-plugin.jar拷贝到eclipse安装包里的plugin目录里

注：但本次教程的hadoop-1.0.4里面没有，所以我从网上找到了这个jar直接拷贝到eclipse内plugin目录里

3） 启动eclipse

4) 打开Window->OpenPerspective->other->Map/Reduce

然后在打开Window->Show View->Other 搜索mapreduce视图

5)如图IDE

6) 配置Hadoop的安装目录

现在Hadoop安装和配置完了，还有eclipse的插件，下一步拿一个小Project测试下。

10.测试集群 10.1开启本地hadoop集群

1）开启5个Cygwin，然后分别执行以下命令：

Window1： $ cd hadoop-1.0.4 $ bin/hadoop namenode Window2： $ bin/hadoop secondarynamenode Window3: $bin/hadoop jobtracker Window4: $bin/hadoop datanode Window5: $bin/hadoop tasktracker 或者：直接输入以下命令 $bin/start-all.sh

这个时候进群起来了，进行下一步。

注：这个时候前3个窗口可能是一直卡在某个地方，这个是正常现象无需担心，也可以在后面加上”&”使进程在后台运行，不在详述，感兴趣的同学可以自行查阅Linux关于”&”的用法

10.2 在Eclipse建立本地Hadoop

1）在切换到Map /Reduce的角度来看,选择Map / Reduce位置选项卡下面的Eclipse环境。然后单击空白空间右键选项卡并选择“新Hadoop位置....“从上下文菜单。您应该会看到一个对话框所示类似。

3） 填入项目，以下所示：

Location Name – localhost --当然这个自己可以随便起名

Map/Reduce Master --一定要与mapred-site.xml里面一致

Host –10.60.115.150

Port – 9001

DFS Master

Check "Use M/R Master Host" --要与core-site.xml里一致

Port -- 9000

User name – Elvis

然后点击完成。

4） 然后你会看到IDE

5） 可以通过eclipse直接copyfromlocal数据。

6） 到这里，在Win下的Hadoop伪分布式集群构建完毕了+Eclipse的配置

10.3 hello测试

用Hadoop自带的WordCount实例可以统计一批文本文件中各单词出现的次数。

1） 首先先做以下动作

$ mkdir input $ cd input $ echo “hello world” > test1.txt $ echo “hello hadoop”> test2.txt $ cat test1.txt #可以使用这个命令查看文件内容 $ bin/hadoop dfs –put ../input in $ bin/hadoop dfs –ls in $ bin/hadoop jar hadoop-examples-1.0.4.jar wordcount in out $ bin/hadoop dfs –cat out/*

最后，尽管这种在win下的开发生产环境不会应用，但自己在实验机中做些开发测试还是蛮不错的选择的，希望对同学们有所帮助。