Windows平台下安装Hadoop

1、安装JDK1.6或更高版本

  官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功)。

2、安装Cygwin

  Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:

  根据操作系统的需要下载32位或64的安装文件。

  1)、双击下载好的安装文件,点击下一步,选择install from internet 

Windows平台下安装Hadoop

  2)、选择安装路径

  3)、选择local Package Directory

  4)、选择您的Internet连接方式

  5)、选择合适的安装源,点击下一步  

Windows平台下安装Hadoop

  6)、在Select Packages界面里,Category展开net,选择如下openssh和openssl两项  

Windows平台下安装Hadoop

    如果要在Eclipe上编译Hadoop,需要安装Category为Base下的sed  

    如果想在Cygwin上直接修改hadoop的配置文件,可以安装Editors下的vim

  7)、点击“下一步”,等待安装完成。

3、配置环境变量

  在“我的电脑”上点击右键,选择菜单中的“属性",点击属性对话框上的高级页签,点击”环境变量"按钮,在系统变量列表里双击“Path”变量,在变量值后输入安装的Cygwin的bin目录,例如:D:\hadoop\cygwin64\bin

4、安装sshd服务

  双击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config -y命令

Windows平台下安装Hadoop

  执行后,会提示输入密码,否则会退出该配置,此时输入密码和确认密码,回车。最后出现Host configuration finished.Have fun!表示安装成功。

  输入net start sshd,启动服务。或者在系统的服务里找到并启动Cygwin sshd服务。

   可能会遇到无法安装和启动sshd服务的问题,可参考此连接。

  另外如果是Win8操作系统,启动Cygwin时,需要以管理员身份运行(右键图标,选择以管理员身份运行),否则会因为权限问题,提示“发生系统错误5”。

5、配置SSH免密码登录

  执行ssh-keygen命令生成密钥文件

  如下图所示,输入:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa,注意-t -P -f参数区分大小写。

  ssh-keygen是生成密钥命令

  -t 表示指定生成的密钥类型(dsa,rsa)

  -P表示提供的密语

  -f指定生成的密钥文件。

  注意:~代表当前用户的文件夹,/home/用户名  

Windows平台下安装Hadoop

  执行此命令后,在你的Cygwin\home\用户名 路径下面会生成.ssh文件夹,可以通过命令ls -a /home/用户名  查看,ssh -version命令查看版本。

  执行完ssh-keygen命令后,再执行下面命令,就可以生成authorized_keys文件了。

  cd ~/.ssh/

  cp id_dsa.pub authorized_keys

  如下图所示:  

  然后执行exit命令,退出Cygwin窗口

6、再次在桌面上双击Cygwin图标,打开Cygwin窗口,执行ssh localhost命令,第一次执行该命令会有提示,输入yes后,回车即可。如下图所示  

Windows平台下安装Hadoop

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/7681915ddcd317cc12528efcb589bde2.html