HDFS常用命令详解与实战

HDFS常用命令详解与实战

一、引言

Hadoop Distributed FileSystem（HDFS）是Hadoop生态系统中的核心组件之一，它为大数据应用提供了高度可扩展、高容错性的分布式文件存储服务。了解和掌握HDFS的常用命令对于大数据处理人员来说至关重要。本文将详细介绍HDFS中常用的命令，并提供实例帮助读者更好地理解和应用这些命令。

二、HDFS常用命令

1. 查看目录结构

-lsr <路径>：递归查看指定路径的目录结构。例如，要查看HDFS根目录下的所有文件和文件夹，可以使用命令hdfs dfs -lsr /。

1. 创建目录

-mkdir <hdfs 路径>：创建空白文件夹。例如，要在HDFS的/data目录下创建一个名为new_folder的新文件夹，可以使用命令hdfs dfs -mkdir /data/new_folder。

1. 创建文件

-touchz <文件路径>：创建空白文件。例如，要在HDFS的/data目录下创建一个名为empty_file.txt的空文件，可以使用命令hdfs dfs -touchz /data/empty_file.txt。

1. 移动文件或目录

-mv <源路径> <目的路径>：移动文件或目录。例如，要将HDFS中/data/old_folder目录移动到/archive目录下，可以使用命令hdfs dfs -mv /data/old_folder /archive。

1. 复制文件或目录

-cp <源路径> <目的路径>：复制文件或目录。例如，要复制HDFS中/data/file1.txt到/backup目录下，可以使用命令hdfs dfs -cp /data/file1.txt /backup。

1. 上传文件

-put <多个Linux 上的文件> <hdfs 全路径>：将本地文件或目录上传到HDFS。例如，要将Linux本地路径/local/data.txt的文件上传到HDFS的/hdfs_data目录下，可以使用命令hdfs dfs -put /local/data.txt /hdfs_data。

1. 下载文件

-get <hdfs 全路径> <linux路径>：从HDFS下载文件到本地。例如，要将HDFS中/hdfs_data/data.txt文件下载到Linux的/local目录下，可以使用命令hdfs dfs -get /hdfs_data/data.txt /local。

1. 删除文件或目录

-rm [-skipTrash] <路径>：删除文件或空白文件夹。例如，要删除HDFS中的/data/old_file.txt文件，可以使用命令hdfs dfs -rm /data/old_file.txt。加上-skipTrash选项会直接删除文件，不将其移动到回收站。

1. 递归删除

-rmr [-skipTrash] <全路径>：递归删除目录及其下的所有文件和子目录。例如，要删除HDFS中的/data/old_folder目录及其所有内容，可以使用命令hdfs dfs -rmr /data/old_folder。

1. 查看文件尾部信息

-tail [-f] <文件>：查看文件的尾部信息。例如，要查看HDFS中/logs/app.log文件的最后1000行内容，可以使用命令hdfs dfs -tail -f /logs/app.log。加上-f选项可以实时跟踪文件的新增内容。

三、其他命令

除了上述常用的文件与目录操作命令外，HDFS还提供了一些其他实用的命令。

1. -du <路径>：统计目录下每个文件的大小。例如，要查看HDFS中/data目录下各个文件的大小，可以使用命令hdfs dfs -du /data。

2. -dus <路径>：汇总统计目录下所有文件（夹）的大小。例如，要查看HDFS中/data目录下所有文件和文件夹的总大小，可以使用命令hdfs dfs -dus /data。

3. -moveFromLocal <多个linux 上的文件> <hdfs 路径>：从本地移动文件到HDFS。这实际上是一个特殊的上传操作，上传完成后本地文件会被删除。例如，要将Linux本地路径/local/data1.txt和/local/data2.txt移动到HDFS的/hdfs_data目录下，并删除本地文件，可以使用命令`hdfs dfs -moveFromLocal /local/data1.txt /local