Hadoop集群安装参考 - c++编程基础

Hadoop集群安装参考

一、说明

1.安装环境说明：

操作系统为Centos 6.4,安装的hadoop 版本为0.20.2-cdh3u6

2.安装后的集群环境说明：

集群内共6台机器，分别为namenode、secondnamenode、jobtrack、datanode(三个节点)，参考如下：

namenode节点： 192.168.8.67（主机名：namenode）

secondnamenode节点： 192.168.8.65 （主机名：secondnamenode）

jobtrack节点： 192.168.8.68（主机名：jobtrack）

datanode01节点： 192.168.8.62（主机名：datanode01） datanode02节点： 192.168.8.63（主机名：datanode02） datanode03节点： 192.168.8.64（主机名：datanode03） 3.安装用户为hadoop

4.安装目录为/opt/hadoop

二、安装

1.下载hadoop-0.20.2-cdh3u6.tar.gz

2.解压hadoop-0.20.2-cdh3u6.tar.gz并将解压后的文件夹重命名为hadoop

3.将hadoop文件夹分别以root身份上传至namenode、secondnamenode、jotrack、datanode01、datanode02、datanode03的/opt目录下

4.更改/opt/hadoop目录的所有者为hadoop用户

参考命令：sudo chown -R hadoop.hadoop /opt/hadoop

5.设置环境变量

参考如下：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

6.设置各个hadoop节点的配置文件，参考如下

分别进入每个节点机器的/opt/hadoop/conf目录下完成如下配置：

(1).namenode：

a.core-site.xml：

  

  
 
   
  
    
    
     io.file.buffer.size
     
    
     65536
     
   
  
    
    
     fs.default.name
     
    
     hdfs://namenode:9000
     
   

  
    
    
     hadoop.proxyuser.hadoop.hosts
     
    
     *
     
   

  
    
    
     hadoop.proxyuser.hadoop.groups
     
    
     *

b.hdfs-site.xml：

  

    
    
     dfs.permissions
     
    
     false
     
   

    
    
     dfs.name.dir
     
    
     /home/hadoop/hadoop/data/name
     
    
     true
     
   

   

    
    
     dfs.replication
     
    
     3
     
   

    
    
     dfs.block.size
     
    
     134217728

c.mapred-site.xml：

  


    
    
     mapred.child.java.opts
     
    
     -Xmx1024m
     
   


    
    
     io.sort.mb
     
    
     500m
     
   


    
    
     mapred.tasktracker.map.tasks.maximum
     
    
     4
     
    
     true
     
   

  
    
    
     mapred.tasktracker.reduce.tasks.maximum
     
    
     2
     
    
     true
     
   

    
    
     mapred.job.tracker
     
    
     jobtrack:9001
     
    
     true

d.masters：

#secondnamenode的地址（可以输入主机名或者输入ip）
secondnamenode
#192.168.8.65

e.slaves：

#各datanode节点的主机名或ip地址
#192.168.8.62
#192.168.8.63
#192.168.8.64
datanode01
datanode02
datanode03

此项配置完成后，先别着急启动hadoop，好多东西还没设置，继续往下走.....

(2).secondnamenode

a.core-site.xml：

  
  
    
    
     hadoop.tmp.dir
     
    
     /home/hadoop/hadoop/tmp/
     
   
  
    
    
     io.file.buffer.size
     
    
     65536
     
   
  
    
    
     fs.default.name
     
    
     hdfs://namenode:9000
     
   
  
    
    
     hadoop.proxyuser.hadoop.hosts
     
    
     *
     
   
  
    
    
     hadoop.proxyuser.hadoop.groups
     
    
     *

b.hdfs-site.xml：

  

    
    
     dfs.permissions
     
    
     false
     
   

    
    
     dfs.name.dir
     
    
     /home/hadoop/hadoop/data/name
     
    
     true
     
   


    
    
     dfs.data.dir
     
    
     /home/hadoop/hadoop/data/data
     
    
     true
     
   


    
    
     dfs.replication
     
    
     3
     
   


    
    
     dfs.block.size
     
    
     134217728

c.mapred-site.xml：

  

    
    
     mapred.child.java.opts
     
    
     -Xmx1024m
     
   

    
    
     io.sort.mb
     
    
     500m
     
   

    
    
     mapred.tasktracker.map.tasks.maximum
     
    
     4
     
    
     true
     
   
  
    
    
     mapred.tasktracker.reduce.tasks.maximum
     
    
     2
     
    
     true
     
   

    
    
     mapred.job.tracker
     
    
     jobtrack:9001
     
    
     true

d.masters和slaves无需配置

此项配置完成后，先别着急启动hadoop，好多东西还没设置，继续往下走.....
（3）.jobtrack

a.core-site.xml：

  
  
    
    
     hadoop.tmp.dir
     
    
     /home/hadoop/hadoop/tmp/
     
   

  
    
    
     io.file.buffer.size
     
    
     65536
     
   
  
    
    
     fs.default.name
     
    
     hdfs://namenode:9000
     
   

  
    
    
     hadoop.proxyuser.hadoop.hosts
     
    
     *
     
   

  
    
    
     hadoop.proxyuser.hadoop.groups
     
    
     *

b.hdfs-site.xml：

  

    
    
     dfs.permissions
     
    
     false
     
   

    
    
     dfs.name.dir
     
    
     /home/hadoop/hadoop/data/name
     
    
     true
     
   


    
    
     dfs.data.dir
     
    
     /home/hadoop/hadoop/data/data
     
    
     true
     
   



    
    
     dfs.replication
     
    
     3
     
   



    
    
     dfs.block.size

Hadoop集群安装参考(一)