使用Eclipse编译运行MapReduce程序 Hadoop2.4.1

上篇介绍了使用命令行编译打包运行自己的MapReduce程序,使用 Eclipse 更加方便。要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 Hadoop-eclipse-plugin,可使用 Github 上的 hadoop2x-eclipse-plugin,测试环境:

准备工作

安装好 Eclipse,可在 Ubuntu 软件中心直接搜索安装。同时开启 Hadoop。

安装 Hadoop-Eclipse-Plugin

下载 hadoop2x-eclipse-plugin ,将 release 中的 hadoop-eclipse-kepler-plugin-2.2.0.jar (虽然标注的是 2.2.0,但在 2.4.1 下是没问题的,应该在 2.x 版本下都可以)复制到 Eclipse 安装目录的 plugin 文件夹中,运行 eclipse -clean 重启 Eclipse 即可。Eclipse 的默认安装目录为:/usr/lib/eclipse :

cd ~/下载/ unzip ./hadoop2x-eclipse-plugin-master.zip cd /usr/lib/eclipse sudo cp ~/下载/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-kepler-plugin-2.2.0.jar ./plugins/ ./eclipse -clean 配置 Hadoop-Eclipse-Plugin

(部分图片直接使用他人的,所以风格不太统一,但不影响)

启动 Eclipse 后就可以在左侧的Project Explorer中看到 DFS Locations(若看到的是 welcome 界面,点击左上角的 x 关闭就可以看到了)。

安装好Hadoop-Eclipse-Plugin插件后的效果

安装好Hadoop-Eclipse-Plugin插件后的效果

--------------------------------------分割线 --------------------------------------

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

--------------------------------------分割线 --------------------------------------

插件需要进一步的配置。

第一步:选择 Window 菜单下的 Preference ,然后弹出一个窗体,窗体的左侧会多出 Hadoop Map/Reduce 选项,点击此选项,选择 Hadoop 的安装目录(如/usr/local/hadoop,Ubuntu不好选择目录,直接输入就行)。

选择 Hadoop 的安装目录

选择 Hadoop 的安装目录

第二步:切换 Map/Reduce 工作目录,选择 Window 菜单下选择 Open Perspective –

Other,弹出一个窗体,从中选择 Map/Reduce 选项即可进行切换。

切换 Map/Reduce 工作目录

切换 Map/Reduce 工作目录

第三步:建立与 Hadoop 集群的连接,点击 Eclipse软件右下角的 Map/Reduce Locations 面板,在面板中单击右键,选择 New Hadoop Location。

建立与 Hadoop 集群的连接

建立与 Hadoop 集群的连接

在弹出来的 General 选项面板中进行 Master 的设置,设置要要 Hadoop 的配置一致,如我使用的Hadoop伪分布式配置,设置了 fs.defaultFS 为 hdfs://localhost:9000,则 DFS Master 那的 Post 也应改为 9000。

Location Name 随意填写,Map/Reduce Master 的 Host 就填写你本机的IP(localhost 也行),Port 默认就是 50020。最后的设置如下:

Hadoop Location 的设置

Hadoop Location 的设置

接着再切换到 Advanced parameters 选项面板,这边有详细的配置,切记需要与 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置文件)一致,如我配置了 hadoop.tmp.dir ,就要进行修改。

Hadoop Location 的设置

Hadoop Location 的设置

最后点击 finish,Map/Reduce Location 就创建好了。

这样配置就完成了。 

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/9a0ccc24c61b39a41cac789187c0c1e6.html