hadoop专题：Hadoop命令

R语言微信号

2014-12-30 米来   R语言中文网

Hadoop命令

为了用户使用的方便，hadoop提供了一套类似于unix的命令系统。我们可以通过命令行对hadoop的HDFS文件系统进行操作。

Hadoop的命令采用 hadoop + 命令 +参数的形式。首先，我们通过bin/hadoop 来查看hadoop都有哪些命令。其中，我们比较常用的有namenode -format ,格式化namenode；fs hadoop文件命令，dfsadmin等。

1，hadoop文件命令。1.1添加目录和文件在DFS 文件系统添加目录/user/hadoop
Hadoop fs -mkdir /user/hadoop
使用 hadoop fs-ls /查看目录是否添加成功，这时，我们看见多了一个/user目录，但是user/hadoop是否添加成功，不能直接看出。那有没有一个命令查看所有目录和文件呢？答案是肯定的，使用命令
Hadoop fs lsr / 这时我们看见/user/hadoop的确添加成功。


添加文件，将本地文件上传到DFS文件系统上，刚才我们添加了一个目录，将本地文件上传到此目录中，首先我们在本地文件系统中创建一个文件example.txt 这里我把文件放在了/home/hadoop目录下。使用hadoop的put命令将它复制到HDFS中。
Hadoop fs -put /home/hadoop/example.txt .
注意命令的结尾有一个（.）。这相当于将文件上传到默认的工作目录中。
那文件到底有没有上传成功呢，我们使用hadoop fs -lsr /查看一下，发现已经上传成功。

1.2下载文件Hadoop中get 与put的命令作用相反，get是将HDFS文件系统中的文件。比如说，我们像将之前的文件下载下来，或者将某个运行结果下载下来。我们就可以使用get命令来获取文件。
Hadoop fs -get example.txt .
将example.txt复制在我们工作的当前目录下。
1.3查看文件内容HDFS文件系统的文件可读不可写，如何我们想要查看HDFS文件系统中的某个文件，可以由hadoop的cat 命令来实现。
Hadoop fs -cat example.txt
典型的hadoop文件都非常大，如果我们想要快速检索到文件的内容呢？我们可以在hadoop的文件命令使用unix的管道，将其结果发送给其他的unix命令做进一步处理。
Hadoop fs -cat example.txt  |  head
Hadoop内在支持tail命令来查看最后一千字：
Hadoop fs -tail example.txt
1.4删除文件文件在hadoop上运行完以后，可以将它删除。
Hadoop fs -rm example.txt
1.5查阅帮助在unix命令中有查询帮助的功能，hadoop的许多命令也是模仿unix命令。我们可以执行hadoop fs(无参数)来获取你所在版本的hadoop的一个完整命令列表。我们还可以使用help命令来查看。


2,hadoop管理命令查看HDFS文件系统的状态
Hadoop dfsadmin -report
Hadoop的管理命令还有很多，在这里我就不想想介绍了。我们将在其他的章节讲述。

下一节我们讲：hadoop运行进程，欢迎大家多多关注和分享。

---

欢迎小伙伴关注R微信号：rchinanet

微信扫一扫
获得更多内容