Fedora 15 Hadoop单机配置方法

 

 

首页服务器应用

背景:

阅读新闻

Fedora 15 Hadoop单机配置方法

[日期:2012-02-29]   来源:blog.csdn.net/shibingli  作者:shibingli   [字体:]  

1、下载并安装JDK

安装目录:/soft/java/jdk1.6.0_26

2、下载并解压Hadoop

解压目录:/soft/java/hadoop/hadoop-0.21.0

3、配置环境变量

export JAVA_HOME=/soft/java/jdk1.6.0_26
    export JRE_HOME=/soft/java/jdk1.6.0_26/jre
    export HADOOP_HOME=/soft/java/hadoop/hadoop-0.21.0
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

4、将以下内容写入到/conf/hadoop-env.sh

export JAVA_HOME=/soft/java/jdk1.6.0_26
    export JRE_HOME=/soft/java/jdk1.6.0_26/jre
    export HADOOP_HOME=/soft/java/hadoop/hadoop-0.21.0
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

5、配置Hadoop安装目录/conf/core-site.xml文件

在configuration节点中增加以下内容:

<property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/tmp/hadoop/hadoop-${user.name}</value>
        </property>

6、配置Hadoop安装目录/conf/hdfs-site.xml文件

在configuration节点中增加以下内容:

<property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>

7、配置Hadoop安装目录/conf/mapred-site.xml文件

在configuration节点中增加以下内容:

<property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
        </property>

8、配置Hadoop安装目录/conf/mapred-site.xml文件

在configuration节点中增加以下内容:

<property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
        </property>


9、配置 SSH 免密码登陆

a、ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
    b、cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    c、chmod 600 ~/.ssh/authorized_keys
    d、sudo service sshd restart

10、重启服务器或者使用source使配置文件生效(/etc/profile、Hadoop安装目录/conf/hadoop-env.sh)

11、格式化nameNode(配置好环境就可以直接使用以下命令格式化nameNode)

hadoop namenode -format

12、运行Hadoop(配置好环境就可以直接使用以下命令启动脚本)

启动:start-all.sh
    停止:stop-all.sh
    创建目录:hadoop dfs -mkdir 目录名称
    浏览目录:hadoop dfs -ls 目录名称
    复制文件到目录:hadoop dfs -copyFromLocal 文件名称 目录名称


    hadoop dfs 查询帮助

13、安装完毕,享受hadoop带给你的快乐吧。

最新版的SSH框整合(Spring 3.1.1 + Struts 2.3.1.2 + Hibernate 4.1)

Eclipse Tomcat启动45秒解决问题

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/50c537d50088100a6a18c3ada1085183.html