HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作,如ls、mkdir、rm等。

调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/child(假设你配置文件中的默认值是namenode:namenodeport)。大多数FS Shell命令的行为和对应的Unix Shell命令类似,不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr,其他信息输出到stdout。

新建文件夹

例如:在HDFS的/tmp/目录下新建文件夹omcs
hadoop fs -mkdir /tmp/omcs

列出HDFS的某目录:

例如:列出HDFS的/tmp/omcs/目录下的所有内容
hadoop fs -ls /tmp/omcs

[sflog@cnsz03pl0161:/home/sflog]$hadoop fs -ls /tmp/omcs
Found 2 items
drwxr-xr-x   - sflog hadoop          0 2017-02-28 19:32 /tmp/omcs/0227
-rw-r--r--   3 sflog hadoop       4573 2017-02-28 19:34 /tmp/omcs/0228
[sflog@cnsz03pl0161:/home/sflog]$

注意,hadoop fs -ls 没有接路径的话就会报错,如果有默认路径/user/root root指当前用户就不会报错了

完整写法
hadoop fs -ls hdfs://主机名:端口号

上传文件

hadoop fs -put linux文件路径(也是要上传文件的路径) 空格 hadoop的hdfs的路径
例如,把linux下当前目录下t.txt文件上传的hadoop的hdfs的/tmp/omcs/0227目录下
hadoop fs -put t.txt /tmp/omcs/0227

在上传文件时注意:
当你上传文件到hadoop的hdfs文件目录不存在的时候,hdfs会将你上传的文件名改为该文件夹的名称,如果hdfs文件系统中已经存在对应的文件时会提示,需要修改下文件名再上传。
例如:hadoop fs -put t.txt /tmp/omcs/0228,会将t.txt文件保存为0228。

[sflog@cnsz03pl0161:/home/sflog]$hadoop fs -put t.txt /tmp/omcs/0227
put: `/tmp/omcs/0227/t.txt': File exists
[sflog@cnsz03pl0161:/home/sflog]$

下载文件

下载操作就是把-put 换成-get,源文件路径,目的地路径,此时原文件为hdfs了,目的地是linux了,语法与-put一样,只是原文和目的地互换了。

例如:[sflog@cnsz03pl0161:/home/sflog]$hadoop fs -get /tmp/omcs/0227/t.txt /home/sflog/dxz/t.txt

查看HDFS上的文件内容:
例如:查看刚刚上传到0228的文件内容:
hadoop fs -cat /tmp/omcs/0228

查看文件内容

例如:hadoop fs -text /tmp/omcs/0228

删除文件

hadoop fs -rm /tmp/omcs/0228
此语句的意思是删除hdfs的根目录下的0228文件

删除文件夹

hadoop fs -rmr /tmp/omcs/0226 此语句的意思是删除hdfs的0226目录及目录下的文件。

hdfs帮助文档

hadoop fs
hadoop fs -help 命令
这里写图片描述

NameNode

namenode存放信息在源码的hdfs-default.xml里面有详细的说明,把起拷贝的core-site.XML中
hadoop.tmp.dir的value/dfs/name/current/fsimage指定namenode存放在linux的路径

DataNode

datanode存放信息在源码的hdfs-default.xml里面有详细的说明,把起拷贝的core-site.XML中hadoop.tmp.dir的value/dfs/data/currentssss指定datanode存放在linux的路径

查看HDFS状态

hadoop dfsadmin -report 查看HDFS状态,比如有哪些datanode,每个datanode的情况
这里写图片描述
hadoop dfsadmin -safemode leave 离开安全模式

hadoop dfsadmin -safemode enter 进入安全模式

GitHub 加速计划 / li / linux-dash
6
1
下载
A beautiful web dashboard for Linux
最近提交(Master分支:3 个月前 )
186a802e added ecosystem file for PM2 4 年前
5def40a3 Add host customization support for the NodeJS version 4 年前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐