设为首页 加入收藏

TOP

CentOS上安装Hadoop2.7,添加数据节点,运行wordcount
2017-10-12 18:13:17 】 浏览:1833
Tags:CentOS 安装 Hadoop2.7 添加 数据节点 运行 wordcount

安装hadoop的步骤比较繁琐,但是并不难。

在CentOS上安装Hadoop2.7

1. 安装 CentOS,注:图形界面并无必要

2. 在CentOS里设置静态IP,手工编辑如下4个文件

  • /etc/hosts
  • /etc/sysconfig/netwok
  • /etc/hostname
  • /etc/sysconfig/network-scripts/ifcfg-eno1677773

 3. 关闭防火墙

  • Close firewalld
  • systemctl stop firewalld.service #停止firewall
  • systemctl disable firewalld.service #禁止firewall开机启动

4. 设置ssh无密登录

l   去掉/etc/ssh/sshd_config其中2行的注释
#RSAAuthentication yes
#PubkeyAuthentication yes

l   输入命令,ssh-keygen -t rsa,生成key,都不输入密码,一直回车,/root就会生成.ssh文件夹,每台服务器都要设置

l   合并公钥到authorized_keys文件,在Master服务器,进入/root/.ssh目录,通过SSH命令合并,
cat id_rsa.pub>> authorized_keys

l   把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录

 

5. 为提高软件下载速度,可以把软件安装库转向阿里云

6. Install net-tools, yum, wget, vim

7. Install Java

  • Yum list java*
  • [root@beta-new1 www]# yum -y install java-1.8.0-openjdk.x86_64

8. Configure Java

  • [root@localhost ~]# which java
     
    /usr/bin/java
     
    [root@localhost ~]# ls -lrt /usr/bin/java
     
    lrwxrwxrwx. 1 root root 22 Aug 17 15:12 /usr/bin/java -> /etc/alternatives/java
     
    [root@localhost ~]# ls -lrt /etc/alternatives/java
     
    lrwxrwxrwx. 1 root root 46 Aug 17 15:12 /etc/alternatives/java -> /usr/lib/jvm/jre-1.7.0-openjdk.x86_64/bin/java

 

9. 从官网下载Hadoop “hadoop-2.7.0.tar.gz”放到/home/hadoop目录下

10. 输入命令解压

  • tar -xzvf hadoop-2.7.0.tar.gz

11. 在/home/hadoop目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name

12. 修改Hadoop设置

  • /Hadoop2.7.3/etc/Hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.e17_3.x86_64

  • /Hadoop2.7.3/etc/Hadoop/slaves
  • /Hadoop2.7.3/etc/Hadoop/mapred-site.xml
  • /Hadoop2.7.3/etc/Hadoop/hdfs-site.xml
  • /Hadoop2.7.3/etc/Hadoop/core-site.xml

 

13. 在Master服务器启动hadoop

  • 初始化

bin/hdfs namenode –format

l  全部启动sbin/start-all.sh,也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh

l  停止Hadoop服务

l  sbin/stop-all.sh

l  输入命令jps,可以看到节点相关信息

14. 访问Hadoop

 

 

添加新数据节点步骤

  • 安装CentOS,设置静态IP(4个配置文件)
  • 加入SSH免密码登录
  • SCP把Hadoop文件复制到新机器
  • 修改/Hadoop2.7.3/etc/Hadoop/slaves
  • 重新初始化
  • 重新启动hadoop服务

 

 

运行WordCount程序

1、在HDFS中创建目录input

hadoop fs -mkdir /input

2、将本地的 PESXXX.txt上传到input中

hadoop fs -put PESXXX.txt /input

查看input目录下的文件

hadoop fs -ls /input

查看PESXXX.txt文件内容

hadoop fs -cat /input/ PESXXX.txt

 

3、运行程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output/

 

4、查看结果

查看输出目录hadoop fs -ls /output

 

查看输出结果hadoop fs -cat /output/part-r-0000

 

5、可在浏览器查看任务

http://192.168.1.15:8088

http://192.168.1.15:50070

 

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇oracle 获取表注释和列注释 下一篇Sqlserver根据条件去除重复数据并..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

最新文章

热门文章

C 语言

C++基础

windows编程基础

linux编程基础

C/C++面试题目