RedHat 6.8 搭建 Hadoop 集群(5)

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://node-1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/export/data/hopdata</value> </property> </configuration>

序号参数名默认值参数解释
1   fs.defaultFS   file:///   文件系统主机和端口  
2   io.file.buffer.size   4096   流文件的缓冲区大小  
3   hadoop.tmp.dir   /tmp/hadoop-${user.name}   临时文件夹  
2.hdfs-site.xml

HDFS参数,如名称节点和数据节点的存放位置、文件副本的个数、文件读取权限等

<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>node-2:50090</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>

序号参数名默认值参数解释
1   dfs.namenode.secondary.http-address   0.0.0.0:50090   secondary namenode 所在主机的ip和端口,定义HDFS对应的HTTP服务器地址和端口  
2   dfs.namenode.name.dir   file://${hadoop.tmp.dir}/dfs/name   定义DFS的名称节点在本地文件系统的位置  
3   dfs.datanode.data.dir   file://${hadoop.tmp.dir}/dfs/data   定义DFS数据节点存储数据块时存储在本地文件系统的位置  
4   dfs.replication   3   缺省的块复制数量  
5   dfs.webhdfs.enabled   true   是否通过http协议读取hdfs文件,如果选是,则集群安全性较差  
3.mapred-site.xml

Mapreduce参数,包括JobHistory Server和应用程序参数两部分,如reduce任务的默认个数、任务所能够使用内存的默认上下限等

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/7baa41065996a40a28b1c3997ffd519c.html