分布式lab2：Hadoop Distributed File System(HDFS)上的基本操作

Posted on | Edited on | In | Comments:

分布式第二次实验。

首先

使用master节点进行操作，另外两个节点也要开机。

先进入root账户

1
sudo su root

将bin目录和sbin目录里的命令配入环境变量

1
vim ~/.bashrc

按下i，在最后添加一行：

1
export PATH=$PATH:/usr/local/hadoop/hadoop-2.8.5/sbin:/usr/local/hadoop/hadoop-2.8.5/bin

然后按下esc，输入:wq写入文件。

启动Hadoop

1
start-all.sh

HDFS命令

查看HDFS上当前目录下所有文件

1
hadoop fs -ls /

递归查看HDFS上当前目录下所有文件

这条命令会递归进入每个文件夹，展示出所有文件。

1
hadoop fs -ls -R /

在HDFS上新建文件夹

方式1 逐个建立文件夹

1
2
hadoop fs -mkdir /user
hadoop fs -mkdir /user/hadoop-user/

方式2 递归建立文件夹

这种方式下，如果要建立的文件夹父目录不存在则同时建立父目录的文件夹。

1
hadoop fs -mkdir -p /user/hadoop-user/

本地准备一份文件

1
2
3
4
5
cd /tmp/
mkdir charles1
mkdir charles2   # 为后续操作做准备
cd charles1
vim ds2019.txt

写入：

1
Distributed System 2019Spring

然后按下esc，输入:wq写入文件。

向HDFS上传文件

1
hadoop fs -put /tmp/charles1/ds2019.txt /user/hadoop-user/

查看是否上传成功

1
hadoop fs -ls -R /

在Terminal显示文件内容

1
hadoop fs -cat /user/hadoop-user/ds2019.txt

下载HDFS上的文件

1
hadoop fs -get /user/hadoop-user/ds2019.txt /tmp/charles2

删除HDFS上的文件

方式1 删除某个文件

1
hadoop fs -rm /user/hadoop-user/ds2019.txt

方式2 递归删除文件夹

若被删除的文件夹下还有文件，则一同删除

1
hadoop fs -rm -r /user/