hdfs检测文件是否存在

Posted by 行如风 Blog on April 28, 2020
1
使用test命令进行检测

平时在做任务处理时,需要对hdfs文件进行检测,如果hdfs文件存在,则进行后续处理,这时可以使用test命令进行处理。 具体如下:

test

使用方法:hadoop fs -test -[ezd] URI

1
2
3
4
选项:
	-e 检查文件是否存在。如果存在则返回0。
	-z 检查文件是否是0字节。如果是则返回0。
	-d 如果路径是个目录,则返回1,否则返回0。

示例:

  • hadoop fs -test -e filename

在shell中使用时

1
2
3
4
5
6
hadoop fs -test -e file

if [ $? -ne 0 ];then
    echo "file not exit"
    exit 0
fi