HDFS常用指令

一、目录文件类

1、ls 查看根目录内容

-R 递归列出所有子目录文件 -h 人性化单位展示大小

hadoop fs -ls /

2、mkdir 创建目录

-p 递归创建多级目录

hadoop fs -mkdir /test

3、rm 删除文件或目录

hadoop fs -rm /test

4、rmkdir 删除空目录

hadoop fs -rmkdir /test

5、count统计目录下 文件数 / 目录数 / 总占用字节

hadoop fs -count /test

6、du查看目录实际数据占用大小（不含副本）

-h 人性化单位展示大小

hadoop fs -du -h /test

7、touch创建空文件

hadoop fs -touch /test/a.txt

8、cat 查看 HDFS 中的非压缩文件的内容

hadoop fs -cat /test/a.txt

9、text 查看文件内容

既可以查看非压缩的文本文件内容，也能查看压缩后的文本文件内容

hadoop fs -text /test/a.txt

10、tail查看文件末尾实时日志

-f 选项实时显示追加的内容

hadoop fs -tail /test/a.txt

11、checksum获取文件 CRC 校验值，校验文件完整性

hadoop fs -checksum /test/a.txt

12、expunge清空回收站，释放存储空间

hadoop fs -expunge

13、cpHDFS 内部复制文件 / 目录

hadoop fs -cp /test/a.txt /aa

14、mvHDFS 内移动、重命名文件 / 目录

hadoop fs -mv /data/data.local /test

hadoop fs -mv /old_name /new_name

15、appendToFile本地文件内容追加写入 HDFS 已有文件

hadoop fs -appendToFile data.txt /data/data.txt

16、getmerge合并 HDFS 多个文件，下载为本地单个文件

hadoop fs -getmerge /data/a.txt /data/b.txt /home/hadoop/input/data.local

17、copyToLocalHDFS 文件复制到本地

hadoop fs -copyToLocal /logs/app.log /test/local

18、copyFromLocal 本地复制文件到 HDFS

hadoop fs -copyFromLocal info.json /user

19、getHDFS 文件下载到本地

hadoop fs -get /hdfs/demo.txt ./local_dir/

20、moveFromLocal 移动本地文件至 HDFS（本地删除源文件）

hadoop fs -moveFromLocal data.csv /dwd

21、put 本地文件上传 HDFS

hadoop fs -put local_file.csv /hdfs/tmp/

22、setfattr 给文件自定义扩展标签属性

hadoop fs -setfattr -n tag -v "202606" /data/orc_file

23、getfattr 读取文件自定义扩展属性

hadoop fs -getfattr -n tag /data/orc_file

24、test 判断文件是否存在、是否目录、是否为空

-d：如果路径为目录则返回0

-e：如果路径存在则返回0

-f：如果路径为文件则返回0

-s：如果路径中的文件大于0字节则返回0

-w：如果路径存在并且具有写权限则返回0

-r：如果路径存在并且具有读权限则返回0

-z：如果路径中的文件为0字节则返回0，否则返回1

hadoop fs -test -e /data/test.txt

25、stat 查看文件完整元数据（时间、块、副本、权限）

hadoop fs -stat /user/hadoop/demo.txt

26、setfacl 设置细粒度 ACL 权限

hadoop fs -setfacl -m user:test:r-x /data

27、getfacl 查看已配置 ACL 权限

hadoop fs -getfacl /data

28、removeAcl 清除全部自定义 ACL 权限

hadoop fs -removeAcl /data

29、truncate 截断 HDFS 文件，保留指定长度

hadoop fs -truncate 1024 /tmp/cache.log

30、find 全局检索匹配名称的文件 / 目录

hadoop fs -find / -name "*.orc"

31、help 查看 Hadoop 具体命令的帮助信息

hadoop fs -help cat

查询帮助文档

hadoop fs

或者

hadoop fs -help

32、df 查看 HDFS 中目录空间的使用情况

hadoop fs -df -h /data

33、head 查看文件前段

hadoop fs -head /data/data.txt

34、setrep 设置 HDFS 上的文件的目标副本数量

hadoop fs -setrep 5 /data/data.txt

35、usage 列出指定命令的使用格式

hadoop fs -usage cat

二、快照管理

1、createSnapshot：给目录生成快照备份（数据恢复用）

设置目录允许快照

hdfs dfsadmin -allowSnapshot /test

创建快照

hadoop fs -createSnapshot /test t1

2、deleteSnapshot：删除目录已创建的快照

hadoop fs -deleteSnapshot /test t1

3、renameSnapshot修改已有快照名称

hadoop fs -renameSnapshot /test t1 t2

4、diff 对比目录当前数据与快照差异

hadoop fs -diff /ods t1

三、权限 & 属主管理

1、chmod修改文件 / 目录读写执行权限

hadoop fs -chmod 755 /test

2、chown修改文件所属用户与用户组

hadoop fs -chown hive:hive /warehouse

3、chgrp仅修改文件所属用户组

hadoop fs -chgrp hadoop /test/a.txt