设为首页 加入收藏

TOP

大数据概念(三)
2019-09-17 17:48:02 】 浏览:86
Tags:数据 概念
node提供的web端口:50070

http://hdp-01:50070

 

然后,启动众datanode们(在任意地方)

hadoop-daemon.sh start datanode

 

 

6) 用自动批量启动脚本来启动HDFS

1)         先配置hdp-01到集群中所有机器(包含自己)的免密登陆

2)         配完免密后,可以执行一次  ssh 0.0.0.0

3)         修改hadoop安装目录中/etc/hadoop/slaves(把需要启动datanode进程的节点列入)

hdp-01

hdp-02

hdp-03

hdp-04

 

4)         在hdp-01上用脚本:start-dfs.sh 来自动启动整个集群

5)         如果要停止,则用脚本:stop-dfs.sh

5、hdfs的客户端操作

客户端的理解

hdfs的客户端有多种形式:

1、网页形式

2、命令行形式

3、客户端在哪里运行,没有约束,只要运行客户端的机器能够跟hdfs集群联网

 

文件的切块大小和存储的副本数量,都是由客户端决定!

所谓的由客户端决定,是通过配置参数来定的

hdfs的客户端会读以下两个参数,来决定切块大小、副本数量:

切块大小的参数: dfs.blocksize

副本数量的参数: dfs.replication

 

上面两个参数应该配置在客户端机器的hadoop目录中的hdfs-site.xml中配置

<property>

<name>dfs.blocksize</name>

<value>64m</value>

</property>

 

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

 

 

 

hdfs客户端的常用操作命令

1、上传文件到hdfs中

hadoop fs -put /本地文件  /aaa

 

2、下载文件到客户端本地磁盘

hadoop fs -get /hdfs中的路径   /本地磁盘目录

 

3、在hdfs中创建文件夹

hadoop fs -mkdir  -p /aaa/xxx

 

 

4、移动hdfs中的文件(更名)

hadoop fs -mv /hdfs的路径1  /hdfs的另一个路径2

 

复制hdfs中的文件到hdfs的另一个目录

hadoop fs -cp /hdfs路径_1  /hdfs路径_2

 

 

5、删除hdfs中的文件或文件夹

hadoop fs -rm -r /aaa

 

 

6、查看hdfs中的文本文件内容

hadoop fs -cat /demo.txt

hadoop fs -tail -f /demo.txt

 

首页 上一页 1 2 3 下一页 尾页 3/3/3
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇zookeeper学习记录第二篇-----安.. 下一篇一点一点看JDK源码(〇)

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目