HDFS shell操作

1.文件操作指令

指令的一般格式如下

hdfs dfs -CMD [-OPTION] [path1]
hadoop fs -CMD [-OPTION] [path1]

(1) 查看文件目录

hdfs dfs -ls <指定路径>
hdfs dfs -ls /

(2)递归查看目录结构

# 更加推荐使用第二种方式
hdfs dfs -lsr <指定路径>
hdfs dfs -ls -R <指定路径>

(3)查看文件夹情况

# 统计目录下文件大小
hdfs dfs -du <指定路径>
# 统计目录下文件夹大小
hdfs dfs -du -s <指定路径>
# 统计文件（夹）数量
hdfs dfs -count <指定路径>

(4)创建文件目录

# path可以是绝对路径，也可以是相对路径
# -p 表示多级目录
hdfs dfs -mkdir -p <path>

(5)文件操作

# 移动文件，仅能在hdfs上使用
hdfs dfs -mv <源路径> <目标路径> 
# 复制文件，仅能在hdfs上使用
hdfs dfs -cp <源路径> <目标路径>
# 删除文件/空白文件夹
hdfs dfs -rm <路径>
# 递归删除文件/空文件夹
hdfs dfs -rm -r <路径>

(6)文件的上传与下载

# 上传文件
hdfs dfs -put <本地源路径> <hdfs目标路径>
# 下载文件
hdfs dfs -get <hdfs源路径> <本地目标路径>

(7)查看文件

# 利用管道符查看文件
hdfs dfs -cat path|查询范围
# 利用text命令查看文件
hdfs dfs -text <path>
# 查看文件头部信息，头部1kb
hdfs dfs -head <path>
# 查看文件尾部信息，尾部1kb
hdfs dfs -tail  <path>

(8)查找文件

hdfs dfs -find <指定路径> -name <文件名>

# 查找名为file.txt的文件
hdfs dfs -find /demofile -name file.txt
# 查找名称中包含.txt的文件
hdfs dfs -find / -name "*.txt*"