详解Ubuntu16.04下Hadoop 2.7.3的安装与配置

2019-10-12 17:16:50丽君

(3)在hdfs中创建一个文件目录input,将/usr/local/hadoop/README.txt上传至input中。

hdfs dfs -mkdir /input 
hadoop fs -put /usr/local/hadoop/README.txt /input 


(4)执行以下命令运行wordcount,并将结果输出到output中。


hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output 

出现类似上图的页面说明wordcount运行成功。注意:请将图中红色线框中的内容替换为自己的hadoop-mapreduce-examples-2.7.3.jar文件的路径信息。

(5)执行成功后output 目录底下会生成两个文件 _SUCCESS 成功标志的文件,里面没有内容。 一个是 part-r-00000 ,通过以下命令查看执行的结果,如下图。

hadoop fs -cat /output/part-r-00000 

附:hdfs常用命令

hadoop fs -mkdir /tmp/input       在HDFS上新建文件夹 
hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录下 
hadoop fs -get input1.txt /tmp/input/input1.txt 把HDFS文件拉到本地 
hadoop fs -ls /tmp/output         列出HDFS的某目录 
hadoop fs -cat /tmp/ouput/output1.txt 查看HDFS上的文件 
hadoop fs -rmr /home/less/hadoop/tmp/output 删除HDFS上的目录 
hadoop dfsadmin -report 查看HDFS状态,比如有哪些datanode,每个datanode的情况 
hadoop dfsadmin -safemode leave 离开安全模式 
hadoop dfsadmin -safemode enter 进入安全模式 

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持易采站长站。